什么是 再生核希尔伯特空间（RKHS）？
再生核希尔伯特空间（RKHS）是一类以函数为元素的 Hilbert Space，其中每个受支持点上的函数求值都是连续线性泛函，可由函数与相应 Kernel Section 的内积表示。
快速了解
| 全称 | Reproducing Kernel Hilbert Space |
|---|---|
| 创建时间 | Nachman Aronszajn 于 1950 年系统形式化 |
| 规范文档 | 官方规范 |
工作原理
由有界求值得到再生性质
如果点 x 上的 Evaluation 连续，Riesz Representation Theorem 会给出唯一元素 k_x，使空间中每个函数都满足 f(x) = <f, k_x>。再定义 k(x,y) = <k_y, k_x> 即得到 Reproducing Kernel；反过来，一个 Positive-definite Kernel 也会在等距同构意义下唯一确定 RKHS。
Aronszajn 1950 年论文系统建立了这种对应。连续性不可省略：任意由等价类组成的 Hilbert Space 未必支持定义良好的点求值。
把范数解释为 Kernel 特定的复杂度
由有限 Kernel Section 表示的函数 f(.) = sum_i alpha_i k(x_i, .)，在处理等价表示后具有平方范数 alpha^T K alpha；再生性质又能通过同一组 Kernel Value 计算函数值，无需显式构造 Feature Coordinate。
较小 RKHS Norm 只表示函数相对于所选 Kernel 更平滑或简单。RBF、Polynomial、String 与 Graph Kernel 会定义不同 Similarity 和 Regularity；跨 Kernel 或参数直接比较原始 Norm 通常没有意义。
区分数学存在性与数值实现
Kernel Algorithm 最终操作有限 Gram Matrix，因此 Symmetry、Positive Semidefiniteness、Conditioning、Centering、Regularization 与浮点容差都会影响结果。理论上有效的 Kernel 仍可能产生接近奇异的矩阵，而 Indefinite Similarity 不会定义算法假设的 RKHS Geometry。
Hofmann、Schölkopf 与 Smola 的核方法综述连接了 RKHS 理论、正则化与学习算法。生产验证还要覆盖预处理、Kernel 参数、Train-test 隔离、近似误差及不受支持输入上的行为。
主要特点
- 由函数构成完备的内积空间
- 让每个点上的函数求值成为有界线性泛函
- 为每个点关联同一空间中的 Kernel Section
- 拥有唯一再生核，也可由正定 Kernel 唯一诱导
- 用 RKHS Norm 表示 Kernel 特定的函数复杂度
- 无需显式特征坐标即可执行有限 Kernel 计算
常见用途
- 推导正则化 Kernel Regression 与 Classification Estimator
- 通过 Kernel Mean Embedding 表示概率分布
- 设计非参数依赖检验与两样本统计量
- 分析插值、平滑与函数逼近问题
- 核对 Kernel Approximation 和 Feature Map 的理论前提
示例
Loading code...常见问题
什么条件让 Hilbert Space 成为 RKHS？
空间元素必须是函数，而且每个受支持点上的 Evaluation 都是连续线性泛函。该连续性会产生用内积表示求值的 Kernel Section；普通 Hilbert Space 不一定具有这种性质。
每个正定 Kernel 都对应一个 RKHS 吗？
是。按照标准 Positive-definite Kernel 构造，每个此类 Kernel 都会在等距同构意义下确定唯一 RKHS。有限计算中还要验证 Gram Matrix 在合理数值容差内保持对称正半定。
RKHS 一定是有限维空间吗？
不一定。固定 Degree 的 Polynomial Kernel 可以对应有限 Feature Space，常见 RBF Kernel 则诱导无限维空间。有限样本算法仍可只计算 Kernel，而无需显式生成这些坐标。
RKHS Norm 衡量什么？
它按照所选 Kernel Geometry 衡量函数大小或复杂度，有时可解释为某种平滑性，但含义会随 Kernel 及其参数变化。来自不同 RKHS 的 Norm 数值不能直接比较。
RKHS 与 Kernel Trick 有什么区别？
RKHS 是具有 Reproducing Kernel 的数学函数空间；Kernel Trick 是用 Kernel Evaluation 替代 Feature-space Inner Product 的计算模式。很多核算法同时使用两者，但它们不是同一个概念。