什么是 贝叶斯神经网络（Bayesian Neural Network）？
贝叶斯神经网络（Bayesian Neural Network）是对选定参数或函数设置先验分布，用观测数据更新为后验分布，并通过在后验上边缘化形成预测的神经网络模型。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
在有意义的尺度上定义先验与似然
权重先验会诱导函数先验，但简单独立权重先验可能产生不符合领域知识的函数行为。似然也必须匹配目标：分类可用类别分布；只有残差假设合理时才使用高斯似然；计数、生存、重尾或多峰结果需要对应模型。Wilson 与 Izmailov强调贝叶斯方法的核心是边缘化而非单点权重，但这不会免除检查函数先验与数据模型的责任。
近似后验，同时公开近似误差
对于权重 w 与数据 D，贝叶斯法则给出 p(w|D) proportional to p(D|w)p(w)。变分方法优化一个可处理分布，拉普拉斯方法在 MAP 解附近拟合局部高斯，采样方法则尝试直接探索后验。Bayes by Backprop提供了可扩展的变分构造，但论文基准不能证明所有变分 BNN 都能覆盖多峰后验或尾部不确定性。
分别验证计算、预测与决策
先诊断推断算法，包括优化收敛、适用时的采样链混合、先验敏感性和跨随机种子稳定性；再评估后验预测的 Log Loss 或 Brier Score、校准、区间覆盖与宽度、任务质量和代表性偏移切片。后验预测检查用于判断模拟数据能否复现决策相关结构，不能替代未参与建模的样本外评测或外部安全控制。
主要特点
- 把神经似然与明确先验假设结合起来
- 将选定权重、函数或输出表示为随机量
- 通过后验积分或样本平均形成预测
- 在现代神经网络规模下通常依赖近似推断
- 能够表示参数未知，但仍可能设定错误或过度自信
- 需要计算诊断和部署条件下的预测验证
常见用途
- 生成带不确定性信息的回归或分类预测
- 在小数据科学模型中纳入可辩护的先验知识
- 证据薄弱时支持人工复核或拒答策略
- 驱动信息感知的探索或主动数据采集
- 比较不同模型与先验的后验预测行为
示例
Loading code...常见问题
贝叶斯神经网络与普通神经网络有什么区别？
普通训练流程通常返回一个参数估计；BNN 定义先验与似然，推断选定未知量的后验，并在后验上平均预测。实际后验通常是近似结果，因此这种形式差异并不会自动带来更好的不确定性。
贝叶斯神经网络必须为每个权重建模分布吗？
不一定。有些方法覆盖全部权重，可扩展方案也可能只处理最后一层、子网络、低秩方向、函数空间或局部后验。必须记录随机化范围和固定组件，因为它们决定预测器能表示哪些未知。
贝叶斯神经网络总是校准得更好吗？
不是。校准取决于先验、似然、推断近似、数据与评测分布。模型设定错误或分布偏移时，BNN 仍可能过度自信。应使用严格适当评分和可靠性分析，与确定性及集成基线比较。
为什么贝叶斯神经网络难以精确推断？
现代网络参数空间维度很高、关系非线性，还存在对称性与多个合理区域。后验归一化积分和后验预测积分通常没有闭式解，精确枚举或数值积分在计算上不可行。
什么情况下值得使用贝叶斯神经网络？
当可辩护的概率模型和后验感知决策足以抵偿额外推断与服务成本时才使用。先建立确定性或集成基线，再要求 BNN 在预测质量、校准、决策效用或数据采集效率上产生可测量增益。