什么是 诱导点（Inducing Points）？
诱导点（Inducing Points）是经过选择的位置，其潜在函数值作为一组紧凑诱导变量，用于近似高斯过程中的依赖关系。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
通过紧凑支撑集合投影协方差
矩阵 Kuu、Kfu 和 Kuf 分别连接诱导变量自身以及诱导变量与训练函数值。投影 Qff = Kfu Kuu^-1 Kuf 表示诱导结构能够解释的协方差，而 Kff - Qff 描述低秩路径未表示的信息。
Snelson 与 Ghahramani在一种稀疏 GP 构造中优化伪输入位置。后续变分方法把这些变量放入证据下界目标，因此统计解释和过拟合控制也随之改变。
有意识地选择位置与参数化
常见初始化包括随机训练子集、K-Means 中心、规则网格和基于领域知识的覆盖点。位置可以固定，也可以与核和变分参数共同优化。聚类、缩放和位置优化都必须限制在每个评测折的训练数据内。
白化参数化通过 Kuu 的分解表达诱导值，通常可改善条件数。Jitter 能稳定矩阵分解，却不能修复重复覆盖、错设的核，或诱导点集中在高密度区域而忽视决策关键尾部的问题。
诊断覆盖质量而不只统计数量
数量 m 只是资源预算。应检查残差对角项 diag(Kff - Qff)、类似杠杆率的投影分数、核几何距离、重复或坍缩位置、梯度与多随机种子敏感性，并分别评测密集区域和稀疏尾部。
更多诱导点会增加 Kuu 的分解成本，通常为 O(m^3)，还可能恶化条件数。当代表性预测评分和不确定性性质相对延迟与内存趋于稳定时再停止增加 m，而不是机械达到训练集的某个百分比。
主要特点
- 为稀疏高斯过程推断定义紧凑支撑集合
- 可以是学习位置而非真实训练样本
- 通过交叉协方差矩阵传递依赖关系
- 可推广为域间诱导变量
- 需要稳定参数化和仅训练集的位置选择
- 在近似覆盖与诱导矩阵三次成本之间权衡
常见用途
- 控制变分稀疏 GP 的计算预算
- 覆盖时空协方差模型中的关键区域
- 支持小批量 GP 分类或回归
- 设计多输出与域间 GP 近似
- 审计密集区域和尾部区域的近似误差
示例
Loading code...常见问题
诱导点必须是训练数据的子集吗？
不必。它们可以从观测输入初始化，但优化后的位置可能位于输入域中的任意位置。更一般的诱导变量甚至可以表示积分或其他线性泛函，而不是某个点上的函数值。
应该如何初始化诱导点？
训练子集、K-Means 中心、规则网格和领域覆盖点都是可比较的候选。应在相同预算下评测，所有预处理和选择都放在训练折内，并检查尾部覆盖、重复位置、收敛与随机种子敏感性。
哪些现象说明诱导点集合不充分？
较大的残差协方差、较差的预测评分、失准区间、尾部表现弱、位置坍缩以及跨随机种子不稳定，都比数量本身更有诊断价值。集合即使很大，也可能冗余或集中在不重要区域。
诱导点与 Nyström 方法相同吗？
二者都通过选定支撑位置构造低秩核投影，但目标和概率解释不同。变分诱导变量优化后验近似与证据下界；Nyström 方法通常以矩阵或显式特征近似为目标。
为什么增加诱导点可能让优化变差？
更大的 `Kuu` 会增加三次分解成本；当点彼此接近或核尺度极端时，矩阵也可能病态。白化、Jitter、位置约束、更好的初始化和梯度监控可以缓解，但额外容量是否有价值仍由验证决定。