什么是 内在维度估计？
内在维度估计是推断数据集或数据生成过程需要多少局部自由度才能描述的任务，即使观测特征数量远高于这些自由度。
快速了解
| 全称 | Intrinsic Dimension Estimation (IDE) |
|---|---|
| 创建时间 | 近邻 Maximum-likelihood Estimation 由 Elizaveta Levina 与 Peter Bickel 于 2004 年系统化 |
| 规范文档 | 官方规范 |
工作原理
估计前先定义维度与尺度
Ambient Dimension 统计观测坐标数；Linear 或 Effective Rank 概括一个全局子空间的方差；Manifold Dimension 在平滑假设下统计局部坐标数；Local Intrinsic Dimension 则可以随区域变化。当数据包含不同自由度的 Stratum、Branch 或 Regime 时，用一个整数概括并不合理。
Levina-Bickel Estimator用局部 Poisson Process 建模近邻到达，并从有序邻居距离估计维度。它的假设是局部、渐近且依赖 Metric 的，并不是数据复杂度的普适定义。
比较多类 Estimator，而不是相信一个数字
Eigenvalue Method 检查局部或全局 Spectral Decay；Correlation 与 Packing Estimator 研究样本计数如何随 Radius 增长；Nearest-neighbor MLE 使用局部距离统计。TwoNN使用第二与第一邻居距离之比，其理想化分布以 Intrinsic Dimension 为 Shape Parameter。
每类方法都有特定 Bias 与 Variance。TwoNN 减少部分密度依赖，但仍对 Duplicate、Outlier、Sharp Boundary、有限样本和最近邻尺度的噪声敏感；Local PCA 则要求存在可辨识的 Singular Gap，并要求邻域足够小以近似平坦。
报告带不确定性的尺度剖面
应跨 Neighborhood Size、Subsample、Metric、Preprocessing Variant 与 Bootstrap 重复估计，寻找稳定 Plateau，而不是选择一个有利数值。先在已知维度且具有真实噪声的合成数据上校准，再报告离散度、排除样本、Boundary Policy 和每个邻域对应的物理距离尺度。
估计结果用于约束候选模型或 Embedding Dimension，而不是宣称 Oracle Answer。还要对每个候选重新验证 Reconstruction、Neighborhood Preservation、Predictive Utility 与运行成本。Preprocessing 和维度决策必须在训练划分内部拟合，避免 Leakage。
主要特点
- 估计潜在自由度而不是观测 Feature Count
- 可以输出一个全局维度或不同区域的 Local Dimension
- 包含 Spectral、Geometric、Counting 与近邻似然方法
- 依赖 Metric、Preprocessing、邻域尺度与采样假设
- 会受噪声、边界、曲率、重复点与有限样本影响
- 应报告带不确定性的稳定性剖面，而不是一个 Oracle Integer
常见用途
- 为流形学习方法选择候选输出维度
- 诊断 Embedding 或 Learned Representation 中的冗余
- 比较不同模型层或数据 Regime 的几何复杂度
- 识别局部自由度不同的数据区域
- 为非线性分析规划样本量与邻域尺度
示例
Loading code...常见问题
Ambient Dimension 与 Intrinsic Dimension 有什么区别？
Ambient Dimension 是记录每个样本所用的坐标数量；Intrinsic Dimension 是在给定模型和尺度下的局部自由度数量。数据可以拥有数千个 Feature，却只在一个低得多的结构附近变化。
内在维度等同于 PCA Component 数量吗？
不等同。PCA Component 数量是在选定阈值下由全局线性子空间解释的方差；Intrinsic Dimension 可以描述非线性局部几何、随区域或尺度变化，并依赖 Explained Variance 没有检验的假设。
基于近邻的内在维度估计如何工作？
它们在局部规则 Point Process 假设下，建模有序邻居距离或样本数随 Radius 的缩放。Levina-Bickel MLE 使用多个邻居距离，TwoNN 使用前两个邻居的距离比；两者都要求 Metric 有意义且局部采样充分。
为什么估计维度会随 Neighborhood Size 改变？
小邻域可能被测量噪声和 Duplicate 主导，大邻域则可能混合曲率、边界、分支与异质 Regime。这种变化经常是关于尺度的真实证据，而不只是需要调掉的误差。
如何验证内在维度估计？
应在不同邻域和样本尺度上比较多类 Estimator，使用 Bootstrap 不确定性，在带真实噪声的已知合成流形上校准，检查 Local Distribution，并通过 Reconstruction、Neighborhood 与下游指标验证候选维度。