什么是 随机傅里叶特征（RFF）？
随机傅里叶特征（RFF）是一种随机显式 Feature Map，通过从平移不变正定 Kernel 的 Spectral Distribution 做 Monte Carlo Sampling，使映射后向量的内积近似目标 Kernel。
快速了解
| 全称 | Random Fourier Features |
|---|---|
| 创建时间 | Ali Rahimi 与 Benjamin Recht 于 2007 年提出 |
| 规范文档 | 官方规范 |
工作原理
由 Bochner Theorem 构造显式特征
Bochner Theorem 把连续 Shift-invariant Positive-definite Kernel 表示为非负测度的 Fourier Transform。从归一化 Spectral Measure 采样频率 omega，并均匀采样 Phase b，即可构造 z_j(x) = sqrt(2/D) cos(omega_j^T x + b_j)。
Random Features 原论文为 Radial Kernel 给出收敛界。对 k(x,y) = exp(-gamma ||x-y||^2)，Frequency 的每个坐标服从方差为 2 gamma 的 Gaussian；混淆 gamma、Length Scale 与标准差会改变被表示的 Kernel。
用 Feature Dimension 换取 Kernel Matrix 成本
当 Random Feature 数为 D、输入宽度为 d 时，转换 n 个稠密样本约需 O(ndD)，并存储一个 d by D Map 与转换结果。之后 Linear Learner 可以使用 Streaming、Mini-batch 和普通的新样本推理，而无需保留全部训练点。
增大 D 通常会减小 Monte Carlo Kernel Error，也会增加计算和内存。有效取值依赖数据几何、Regularization 与下游目标；只验证平均 Pairwise Error 可能掩盖 Rare Class 或 Decision Boundary Pair 上的失败。
把随机映射作为模型 Artifact 版本化
训练与推理必须使用完全相同的采样 Frequency、Phase、Feature Order、Input Normalization 与 Kernel 参数。应把这些值随模型 Artifact 保存；单独记录 Seed 可能无法跨 Random-number Generator、语言运行时或库版本复现数值。
应在代表性子集上把 RFF 与 Exact Kernel 以及 Nyström 等近似比较，并报告 Kernel Error、任务质量、Latency、Memory、Seed Variability 和 Drift Behavior。RFF 不会直接覆盖所有 Non-stationary、String、Graph 或 Learned Kernel。
主要特点
- 为 Shift-invariant Kernel 构造有限维显式特征
- 从目标 Kernel 的 Spectral Distribution 采样 Frequency
- 用可复用随机映射替代全量 Pairwise Kernel Matrix
- 通过 Feature Dimension 在计算与 Monte Carlo Error 间权衡
- 冻结拟合映射后可以转换新样本
- 需要版本化预处理、Kernel 参数、Weight、Phase 与 Seed
常见用途
- 配合 Linear Solver 扩展 RBF Kernel 分类或回归
- 在 Streaming 或 Online System 中近似 Kernel Similarity
- 用经过审计的显式特征降低 MMD 或 HSIC 成本
- 为大型表格或信号数据构造非线性特征
- 对照 Exact Kernel 与 Nyström Baseline 评测近似质量
示例
Loading code...常见问题
随机傅里叶特征能近似哪些 Kernel？
经典 RFF 近似连续 Shift-invariant Positive-definite Kernel。Frequency Distribution 必须匹配目标 Kernel 的 Spectral Measure；以正确方差采样 Gaussian Frequency 才能构造常见 RBF Kernel Map。
Random Fourier Feature 数量应该设为多少？
不存在通用数量。应逐步增加 Dimension，直到代表性 Validation Slice 上的 Kernel Error 与下游指标稳定，同时测量 Latency 和 Memory；还要跨 Seed 重复，因为单个 Random Map 可能具有明显方差。
随机傅里叶特征与随机投影有什么区别？
Random Projection 根据投影分布近似保留观测向量几何；RFF 从 Kernel 的 Spectral Measure 采样，使特征内积近似指定 Shift-invariant Kernel。两者的保证和调参目标不同。
随机傅里叶特征能转换未见样本吗？
可以，但推理必须复用完全相同的 Frequency、Phase、Preprocessing 与 Kernel 参数。重新采样会创建不同坐标系，使基于旧映射训练的模型权重失效。
随机傅里叶特征一定比精确 Kernel 快吗？
不一定。小数据集、低查询量、过大的 Feature Count、高输入维度或优化良好的精确 Solver 都可能逆转收益。应测量端到端训练、推理、内存和满足质量门槛后的结果。