什么是 高斯过程分类（Gaussian Process Classification）？
高斯过程分类（Gaussian Process Classification）是一种贝叶斯分类模型，它为潜在函数设置高斯过程先验，再通过非高斯似然把该函数映射为类别概率。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
区分潜在函数与观测类别
对二元标签，潜在函数 f(x) 服从 GP 先验，再使用 p(y=1|f)=Phi(f) 或 sigmoid(f) 等链接函数。相近输入通过核共享信息，似然则把不可观测分数连接到离散标签，因此类别标签并不是高斯观测。
《Gaussian Processes for Machine Learning》第 3 章推导了二元和多分类模型，并说明后验为何不再是高斯分布。更换链接函数会改变概率模型，而不仅是显示尺度。
近似非共轭后验
Laplace 近似在后验众数附近拟合高斯分布；Expectation Propagation 匹配局部矩；变分推断优化可处理的证据下界。不同方法会改变后验方差、证据估计、收敛行为与预测概率，因此推断方案属于模型契约的一部分。
预测时需要在近似潜在后验上积分链接函数。若使用 Probit 链接且潜在边缘为高斯，该积分存在解析式：Phi(mu / sqrt(1 + variance))。只对后验均值应用链接会忽略不确定性，并可能系统性地产生更尖锐概率。
验证类别策略、校准与规模边界
二元 GPC 本身没有规定多分类分解。One-vs-rest、One-vs-one 或联合多分类似然对应不同训练目标与概率语义。scikit-learn GPC 文档公开了其实现特定的分解与核限制，不能把这些约束泛化为所有 GPC。
应评测 Log Loss、Brier Score、可靠性图、区分指标、阈值成本、子群切片与分布变化。精确二元推断继承稠密 GP 成本，多分类或大数据系统可能需要诱导变量等近似，并重新验证校准。
主要特点
- 为潜在类别分数设置高斯过程先验
- 使用非高斯类别似然与链接函数
- 在典型场景中需要近似后验推断
- 通过潜在不确定性积分产生概率
- 两个以上类别需要显式多分类构造
- 未近似时保留核假设与稠密 GP 扩展成本
常见用途
- 在有限标注数据上执行概率二元分类
- 使用结构化相似性进行空间或科学分类
- 以经过验证的预测不确定性驱动主动学习
- 用核先验编码领域结构的非线性分类
- 在小数据场景比较经过校准的贝叶斯分类器
示例
Loading code...常见问题
为什么高斯过程分类没有解析共轭后验？
离散标签使用 Bernoulli 或 Categorical 似然，其类别概率通常由 Probit、Logistic 或 Softmax 链接参数化，而不是采用高斯似然。它与高斯过程先验组合后不会得到高斯后验，因此典型 GPC 需要 Laplace、Expectation Propagation 或变分近似。
GPC 如何把潜在分数转换为概率？
它在潜在分数的后验分布上积分链接函数。若 Probit 链接对应高斯潜在边缘，结果为 `Phi(mu / sqrt(1 + variance))`。只对均值应用链接会丢弃后验不确定性。
高斯过程分类支持多个类别吗？
支持，但必须明确构造方式。联合多分类似然、One-vs-rest 和 One-vs-one 的目标、计算成本与概率语义不同。需要记录选择，并评测输出概率，而不能只看 Top-1 Accuracy。
GPC 输出的概率会自动校准吗？
不会。概率仍以核、似然、推断近似、超参数和数据为条件；近似误差、模型错设、类别不平衡与分布变化都会造成失准。应检查 Log Loss、Brier Score、可靠性、子群行为与决策阈值。
高斯过程分类如何扩展到大数据？
稠密二元方法通常继承随观测数三次增长的时间和二次内存成本，还要迭代近似推断；多分类结构会进一步增加开销。诱导变量、结构化核或显式特征可降低成本，但会引入新的近似误差。