什么是 贝叶斯优化（Bayesian Optimization）？
贝叶斯优化（Bayesian Optimization）是一种序贯、基于模型的优化方法，通过持续更新昂贵黑盒目标的概率代理模型，并用采集函数选择下一次评估位置。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
运行闭合且可审计的优化循环
先用空间填充或其他有依据的初始设计评估真实目标，再拟合代理模型、优化采集函数、评估所选点并更新历史。Frazier 的教程为昂贵、无导数全局优化形式化了这一闭环。每条记录都应保留参数、目标值、噪声估计、失败、耗时、可行性、代理模型版本和选择策略，使推荐结果能够复现。
让代理模型和采集策略匹配真实问题
带合适核函数的高斯过程适合许多低维连续空间；混合变量、条件参数、高维、非平稳、未知约束和异质成本则可能需要变量变换、Trust Region、其他代理模型或多保真策略。Snoek、Larochelle 与 Adams说明核函数、超参数处理、可变成本和并行评估会实质影响优化器行为。仅有「贝叶斯优化」这一方法名，并不能保证样本效率。
评估优化质量，而不只汇报最终最优点
应在重复随机种子和代表性任务上，比较 Simple Regret 或最佳可行值相对于累计评估成本与端到端耗时的曲线。报告失败、不可行试验、初始化成本、代理拟合耗时和采集优化耗时。至少保留随机或准随机搜索基线；若被调对象是预测模型，还要保留未参与调参的最终测试；按预先声明的预算或决策阈值停止，而不是在短暂有利结果出现时结束。
主要特点
- 使用概率代理模型表示昂贵目标
- 通过采集函数序贯选择评估位置
- 权衡预测目标值、不确定性、成本与约束
- 支持带噪声、批量、多保真和多目标扩展
- 依赖搜索空间、核函数、噪声与策略假设
- 必须在重复运行中与同预算基线比较
常见用途
- 调优训练代价高的机器学习配置
- 在固定预算下选择科学或工业实验
- 用带噪声测量校准昂贵模拟器
- 优化带黑盒约束的工程设计
- 在不同保真度或计算成本之间分配评估
示例
Loading code...常见问题
什么情况下适合使用贝叶斯优化？
当单次评估昂贵、预算有限，而且概率代理模型能从少量观测学到有用结构时适合使用。若评估非常便宜、梯度可靠，或搜索空间极高维且缺少可利用结构，贝叶斯优化通常不占优势。
贝叶斯优化只能用于超参数调优吗？
不是。超参数调优只是一个场景。同一闭环还可以选择实验、工程设计、模拟器输入、治疗策略或其他昂贵配置，前提是明确目标、约束、噪声和评估预算。
贝叶斯优化一定使用高斯过程吗？
不一定。高斯过程常见，是因为它能用少量数据给出后验均值与协方差。树集成、神经代理模型、密度模型和领域概率模型也能支持 BO，只要其不确定性对采集决策有用。
贝叶斯优化与主动学习有什么区别？
贝叶斯优化通常选择评估位置，以优化未知目标；主动学习通常选择需要获得标签的样本或查询，以改善预测任务。两者都进行序贯采集，但动作、效用、成本和评测协议不同。
如何评估一个贝叶斯优化系统？
应跨重复随机种子，比较最佳可行值或 Simple Regret 相对于累计成本和端到端耗时的曲线。计入初始化、失败试验、代理拟合、采集优化和并行资源，并保留同预算随机或准随机搜索基线。