什么是 深度集成（Deep Ensembles）？
深度集成（Deep Ensembles）是为同一预测任务训练多个不同神经网络成员，并在推理时组合成员结果以形成聚合预测分布的方法。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
形成有价值的多样性，同时保证成员质量
Deep Ensembles 原始论文从不同初始化出发，用严格适当评分训练模型并组合预测。随机种子与数据顺序可能产生不同解；有充分理由时，也可使用 Bootstrap、不同架构、先验或超参数扩大多样性。但多样性本身没有价值：每个成员仍需通过防泄漏验证，并用领域相关切片和扰动检查相关性失败。
聚合预测分布，而不是任意分数
分类任务应平均成员的归一化类别概率，再评测混合分布；先平均 Logits 会定义另一个预测器。对于同时输出均值与条件方差的回归成员，全方差公式将总预测方差分解为成员内方差均值与成员均值方差。前者可表示建模后的偶然不确定性，后者只是该集成构造能够表示的认知代理。
在偏移与完整服务成本下评估价值
同时测量任务质量、Log Loss 或 Brier Score、校准、选择性风险，以及分布内与真实偏移数据上的不确定性行为。Ovadia 等人的研究比较了数据集偏移下的不确定性方法，但排名不能自动迁移到其他领域。还要核算训练、存储、延迟、能耗和相关可用性风险；只有保持原决策指标时，蒸馏或缩小成员数才算有效替代。
主要特点
- 组合多个分别训练的神经网络预测器
- 聚合概率或分布混合，而不是任意平均分数
- 可能改善预测质量并暴露不同拟合解的变化
- 只表示所选成员生成机制引入的不确定性
- 成员共享数据或架构盲点时仍可能自信地共同犯错
- 会成倍增加训练、存储、推理、监控和发布管理成本
常见用途
- 改善高价值分类或回归任务的预测分布
- 用成员分歧支持拒答与人工复核策略
- 在概率回归中分解成员内和成员间方差
- 评测真实数据集偏移下的不确定性行为
- 为经过验证的模型蒸馏提供更强教师分布
示例
Loading code...常见问题
深度集成如何工作？
使用明确的变化来源，为同一任务训练多个质量合格的模型，冻结成员版本，并在推理时组合预测分布。聚合预测和成员分歧都应在未参与调参的分布内与偏移数据上验证。
深度集成属于贝叶斯方法吗？
通常不属于。除非特定构造能够证明相应解释，否则随机初始化并独立优化的成员并不是已知贝叶斯后验样本。深度集成是有用的预测混合，其不确定性含义来自成员生成与验证协议。
深度集成需要多少个成员？
没有通用数量。在固定验证协议下，绘制成员增加时的任务指标、严格适当评分、校准、分歧稳定性、延迟和成本；当新增成员的决策价值进入平台期或超过资源预算时停止。
分类集成应该平均 Logits 还是概率？
标准预测混合会平均归一化类别概率。平均 Logits 后再做 Softmax 会产生具有不同置信行为的另一个聚合器。必须声明规则，并验证严格适当评分与校准，不能把两者视为可互换。
深度集成能检测所有分布外输入吗？
不能。成员共享训练数据、表示、架构或目标时，可能对缺乏支持的输入仍一致判断。应相对于明确参考评测 Near-OOD 与 Far-OOD，并把成员分歧与确定性校验和 Fallback 结合。