什么是 核技巧（Kernel Trick）？
核技巧（Kernel Trick）是一种以 Kernel Function 计算隐式 Feature Space 内积的技术，使兼容算法无需构造全部特征坐标，也能表达非线性关系。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
把算法改写为两两内积
Support-vector Machine、Ridge Regression、PCA 与若干统计检验的 Dual Form 只通过 Dot Product 依赖样本。替换为有效 Kernel 后，算法仍沿用原有代数结构，但操作的是不同 Geometry。核方法综述系统说明了 Kernel、RKHS、Regularization 与学习算法之间的关系。
Generalized Representer Theorem解释了为何许多正则化 Empirical-risk Solution 位于训练 Kernel Section 的 Span 中，但它不表示任意 Objective、Constraint 或实现都能在未经推导的情况下 Kernelize。
要求有效 Kernel 而不是任意相似度
对任意有限样本与实系数向量 c，作为 Inner Product 使用的实值 Kernel 必须产生对称 Gram Matrix，并满足 c^T K c >= 0。这种 Positive-semidefinite Property 保证存在兼容的 Hilbert-space Feature Map。
Cosine Score、Edit Similarity、Neural Score 与 Distance Transform 并不自动成为有效 Kernel。非负加和、乘积及某些极限可按 Closure Rule 构造新 Kernel，但 Data-dependent Normalization 或参数仍需要数学与数值检查。
计入样本规模与模型选择成本
稠密 Gram Matrix 的计算和存储随样本数二次增长，求解相应系统还可能更昂贵。Kernel Cache、Nyström Low-rank Factor、Random Feature、Chunking 或专用 Solver 会改变这种权衡，也可能改变最终预测。
输入归一化、Kernel Family、Bandwidth、Degree、Offset、Regularization 与 Reference Sample 共同构成模型契约。应只用训练证据调参，在推理时冻结，并与 Linear 和 Exact-kernel Baseline 比较；表达力强的 Kernel 既能拟合信号，也能记住噪声。
主要特点
- 用 Kernel Evaluation 替代显式特征空间内积
- 只适用于可通过这些内积表达的算法
- 标准 RKHS Geometry 要求 Gram Matrix 对称正半定
- 可隐式表达极大或无限维 Feature Map
- 把成本转移到两两样本计算与 Gram Matrix 存储
- 把 Kernel 选择和参数视为模型的一部分
常见用途
- 为 Dual Classifier 构造非线性决策边界
- 通过 Kernel Expansion 拟合正则化非线性回归
- 使用 Kernel PCA 提取非线性成分
- 从 Gram Matrix 计算分布或依赖统计量
- 比较 Exact Kernel、显式特征与低秩近似
示例
Loading code...常见问题
Kernel Trick 为什么有用？
它让依赖 Inner Product 的算法无需显式生成全部特征坐标，也能使用非线性特征。这可以让复杂 Feature Space 变得可计算，但所得 Gram Matrix 仍会随 Sample Count 增长。
任意 Similarity Function 都能作为 Kernel 吗？
不能。标准 Kernel Method 假设任意有限 Gram Matrix 都是对称正半定的。任意 Similarity 可能是 Indefinite，从而破坏算法依赖的 Geometry 或 Optimization Guarantee。
Kernel Trick 能避开维度灾难吗？
不能自动避开。它省去显式 Feature Coordinate，但 Statistical Complexity、Bandwidth、Sample Coverage 和 `n by n` Gram Matrix 仍然存在；高维中距离集中还会让常见 Kernel 失去区分度。
Kernel 与 Feature Map 有什么区别？
Feature Map 把输入映射为坐标 `phi(x)`；Kernel 直接返回 `phi(x)^T phi(y)`。多个 Feature Map 可以实现同一个 Kernel，因此核算法通常把两两函数作为稳定契约。
什么时候应该用显式特征替代 Kernel Trick？
当显式近似达到任务质量门槛，并能降低训练、Streaming 或推理成本时可以替代。应在代表性数据上比较 Exact Kernel、Random Fourier Feature 与 Nyström Factor 的内存、延迟及边界样本。