什么是 径向基函数核（RBF Kernel）？
径向基函数核（RBF Kernel）是一种按照两个输入间平方欧氏距离，以 `exp(-gamma ||x-y||^2)` 计算相似度的正定 Kernel。
快速了解
| 全称 | Radial Basis Function Kernel |
|---|---|
| 规范文档 | 官方规范 |
工作原理
把距离转换为局部相似度
标准形式为 k(x,y) = exp(-gamma ||x-y||^2)。相同向量的 Kernel Value 为一，任意有限距离对应的值都为正。因为它只依赖 x-y，所以具有 Shift Invariance；又因为只依赖 Norm，所以还具有 Isotropy。Dive into Deep Learning 的 Gaussian Process 章节直观展示了 RBF Length Scale 如何改变采样函数几何。
该 Kernel 在 Euclidean Space 上 Positive Definite，因此可以定义 RKHS，并用于兼容的 Kernel Algorithm。局部 Similarity 不是 Probability：各行不会归一化为一，0.8 等数值在不同数据集或参数下也没有通用语义。
统一 Gamma、Sigma 与 Length Scale 约定
常见参数化包括 exp(-gamma r^2) 和 exp(-r^2 / (2 ell^2))，两者满足 gamma = 1 / (2 ell^2)。有些 Library 用 sigma 表示 ell，另一些则采用不同定义；脱离公式复制数值会显著改变 Kernel。
当前 scikit-learn 文档使用 gamma 形式。参数应在只使用训练数据的 Protocol 中选择，并检查 Similarity Quantile 或 Kernel Spectrum，而不能依赖脱离 Feature Scale 的默认值。
审计缩放、距离集中与数值行为
如果预处理没有赋予明确尺度，方差较大的坐标会主导 Squared Distance。高维空间还可能出现 Distance Concentration，让大多数 Off-diagonal Value 挤在狭窄区间。Missing-value Imputation、Categorical Encoding 与重复记录也会改变 Geometry。
gamma 过小时 Gram Matrix 接近常数，过大时不同样本间的矩阵接近 Identity。应跨尺度比较 Validation Quality，监控 Conditioning 与 Effective Rank，保存完整预处理契约；只有测量 Task-level Error 后，才能采用 Nyström 或 Random Fourier Approximation。
主要特点
- 把平方欧氏距离映射到零至一之间的相似度
- 属于 Stationary、Isotropic Positive-definite Kernel
- 无需显式坐标即可诱导无限维 Feature Space
- 通过 Gamma 或等价 Length Scale 控制局部范围
- 高度依赖 Feature Scaling 与 Distance Concentration
- 在极端 Bandwidth 下可能接近常数矩阵或对角矩阵
常见用途
- 为 Kernel Classification 构造非线性边界
- 通过 Kernel Regression 拟合平滑非线性函数
- 为 Spectral Clustering 构建 Affinity Matrix
- 使用 MMD 或 HSIC 衡量分布与依赖
- 评测 Random Fourier 与 Nyström Kernel Approximation
示例
Loading code...常见问题
RBF Kernel 中的 Gamma 控制什么？
Gamma 控制 Similarity 随 Squared Distance 衰减的速度。较大 Gamma 形成更窄的邻域，较小 Gamma 让较远样本仍保持相似；有效范围取决于 Feature Scaling 和实际距离分布。
RBF 的 Gamma 与 Length Scale 如何换算？
对 `exp(-gamma r^2)` 与 `exp(-r^2 / (2 ell^2))`，两者满足 `gamma = 1 / (2 ell^2)`。Library 对 Sigma 和 Length Scale 的符号约定并不统一，必须核对实际公式。
使用 RBF Kernel 前为什么要缩放特征？
Squared Euclidean Distance 会组合全部坐标。数值变化更大的 Feature 可能主导 Kernel，即使它在业务上并不更重要。缩放必须反映目标 Geometry，并且只能在训练数据上拟合。
RBF Kernel 总是合适的默认选择吗？
不是。它是数值向量上的实用非线性 Baseline，但假设 Euclidean、Isotropic Locality，在结构化、稀疏、混合单位或高维数据上可能失效，应与 Linear 和 Domain-specific Kernel 比较。
RBF Kernel 如何扩展到更多样本？
精确计算仍可用 Block Processing；规模更大时可评测 Nyström 与 Random Fourier Feature。必须在关键切片上验证 Kernel Error 和下游质量，因为更快的两两估计不保证决策保持一致。