什么是 并行回火（Parallel Tempering）？
并行回火（Parallel Tempering）是一种群体马尔可夫链蒙特卡洛方法，它在不同温度下运行多个副本并交换状态，使目标温度链能够穿越分离模态。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
在温度梯度上并行运行副本
常见温度梯度使用逆温度 1 = beta_0 > beta_1 > ... > beta_K > 0，第 k 个副本以正比于 pi(x)^beta_k 的分布为目标。较小的 beta 会压平密度差异，让高温副本跨过困住冷链的低概率谷。贝叶斯场景中，对完整 Posterior 回火和只对 Likelihood 回火会产生不同中间分布。
Hukushima 与 Nemoto 的 Exchange Monte Carlo 论文展示了在慢弛豫系统中同时运行副本并交换配置。该机制可以迁移到其他问题，但不能保证对所有多峰几何都高效。
用交换校正保持联合目标
每个副本先执行对自身温度目标有效的局部转移。相邻状态 x_i 与 x_j 的交换提议再按联合乘积分布计算 Metropolis Ratio；在幂回火下，对数接受比是 (beta_i - beta_j)(log pi(x_j) - log pi(x_i))。
只有当前位于 beta = 1 温度槽中的样本直接服从原始目标。未经有效重加权就把高温 Draw 合入后验摘要会产生偏差。副本身份可以在不同温度间移动，因此实现必须区分物理状态与温度槽。
诊断跨温度通信而非只看局部接受率
相邻 Swap Rate 能反映两个温度分布是否重叠，但看似均匀的交换率不能证明全局移动。应跟踪温度索引轨迹、从冷到热再回冷的完整 Round Trip、冷目标上的模态占比、局部 Kernel ESS，以及整个群体的墙钟成本。
温度过稀会阻断交换，过密则浪费计算。只在有理论依据的计划或 Warmup 内适应梯度，在保留采样前冻结契约，并与分散初值的独立链及其他全局采样器比较。
主要特点
- 在多个不同温度下运行采样副本群体
- 用高温副本压平屏障并保留冷目标
- 通过 Metropolis 校正在相邻副本间交换状态
- 在各温度槽上保持联合乘积分布
- 每个副本都需要温度梯度与局部 Kernel
- 以显著计算成本换取多峰探索能力
常见用途
- 具有明显分离模态的后验分布
- 概率地形崎岖的 Energy-based Model
- 受标签或对称模态影响的贝叶斯模型
- 包含多个局部后验盆地的科学反问题
- 压力测试普通链是否遗漏重要区域
示例
Loading code...常见问题
并行回火为什么有助于探索多峰目标？
高温副本会压平密度差异，因此更容易跨越屏障。有效交换把已探索状态沿相邻温度传递，使冷副本能够进入仅靠自身局部转移很少到达的模态。
能否合并所有温度下的样本？
不能直接合并。只有目标温度槽中的状态直接服从原始分布；高温副本服从回火分布，若没有有效重加权方案就加入后验摘要，会改变目标估计量。
并行回火的温度梯度应该如何选择？
相邻副本需要足够重叠以交换状态，最高温度又要能削弱关键屏障。应监控相邻交换和完整 Round Trip，并计入总计算成本，而不是追逐一个通用 Swap Rate。
并行回火与模拟退火相同吗？
不同。并行回火维护多个平衡目标并用校正交换来采样冷分布；模拟退火通常让一个温度随时间变化以寻找最优值，一般不以生成后验样本为目标。
频繁交换能证明所有模态都已探索吗？
不能。副本可能只在同一局部区域内频繁交换，最高温链也可能漏掉隔离模态。仍需检查 Round Trip、冷链模态占比、链间一致性、ESS 与可用的模拟真值。