什么是 退火重要性采样（Annealed Importance Sampling）？
退火重要性采样（Annealed Importance Sampling）是一种蒙特卡洛方法，它让粒子依次经过中间分布并累乘增量重要性权重，以估计两个归一化常数之比。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
建立支持集兼容的温度桥
给定未归一化密度 f0 与 f1，常用桥为 f_beta(x) = f0(x)^(1-beta) f1(x)^beta，其中 0 = beta0 < ... < betaK = 1。起始分布必须已归一化且可直接采样；目标存在正质量的区域必须得到起始路径的支持。若所有路径从一开始就无法到达某区域，再密集的温度日程也无法补回它。
Neal 的 Annealed Importance Sampling 原始论文给出了该构造及其与模拟退火的关系。日程可以非线性，但端点中已知的归一化因子、密度定义与基准测度必须始终一致。
先更新权重，再按新温度移动
在第 k 个桥步骤，AIS 先计算增量比 f_betaK(x[k-1]) / f_betaKMinus1(x[k-1])，再应用以 f_betaK 为不变分布的马尔可夫转移。标准构造下，这些比值的乘积可无偏估计归一化常数比，即使每个桥只执行有限次转移。
有效性要求转移保持不变分布，并不要求每个桥都完全混合；但移动不足会放大方差。颠倒更新顺序、漏掉密度项、利用未来路径自适应当前转移，或暗中改变基准测度，都会破坏通常的估计保证。
诊断权重集中与路径移动
权重应在对数域累积，并通过 Log-Sum-Exp 聚合。报告独立批次间的估计差异、Log Weight 范围、归一化权重的 Effective Sample Size、最大权重占比、转移接受率或位移，以及对温度数量和每桥转移次数的敏感性。
较高的末端接受率不能证明 Evidence 估计准确。若少数路径支配结果，应在相邻分布重叠差的位置增加桥、改进不变转移，或重新设计起始分布。信任大模型结果前，先在归一化常数已知的模型上验证实现，并比较多次独立 AIS 估计。
主要特点
- 通过温度桥连接可处理的起始分布与目标分布
- 沿每条路径累积未归一化密度的增量比
- 要求每一步转移保持对应桥分布不变
- 独立随机运行可产生相互独立的路径权重
- 可估计配分函数或贝叶斯边际似然之比
- 桥分布重叠不足时可能出现极端高方差
常见用途
- 估计贝叶斯模型比较所需的边际似然
- 近似无向概率模型的配分函数
- 在可解析目标上校验证据估计器
- 把退火路径重加权到困难后验
- 初始化或比较温度型蒙特卡洛流程
示例
Loading code...常见问题
退火重要性采样估计的是什么？
AIS 估计目标归一化常数与起始归一化常数之比。起始分布已归一化时，结果就是目标归一化常数，例如配分函数或贝叶斯边际似然。
AIS 的每个转移都必须完全混合吗？
不必。每个转移必须保持对应桥分布不变，但不要求产生独立 Draw。移动不足仍会增大权重方差，使形式上有效的估计器在实践中不可靠。
AIS 的温度日程应该如何选择？
应在相邻分布重叠弱或权重变化快的位置布置更多桥。Pilot Run 可检查增量 Log Weight 方差、移动和权重 ESS，但最终精度应由采用固定协议的独立运行验证。
AIS 的末端状态是无权重后验样本吗？
通常不是。有限长度退火路径带有重要性权重，后验期望应使用归一化路径权重，除非额外的精确采样或重采样逻辑能够证明另一种解释。
退火重要性采样与并行回火有什么区别？
AIS 通常运行相互独立的单向路径，并用累积权重估计归一化常数比。Parallel Tempering 在固定温度上持续运行交互链，交换状态主要是为了改善冷链探索。