什么是 有效样本量(Effective Sample Size)?
有效样本量(Effective Sample Size)是一类诊断指标:使用与抽样过程匹配的公式,把加权或相关样本的信息量表示为理想等权独立观测的大致等价数量。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
Weight ESS 衡量集中度,而不衡量真值
由于共同缩放所有权重不会改变该比值,它反映的是相对不均等程度。这个指标适合 Importance Sampling、IPS 和 Covariate Shift 诊断,却不能检验权重是否正确、Target 是否有 Support,或结果是否独立。系统性错误但分布均匀的权重也可能给出很高 ESS,让错误答案看起来很精确。
让 ESS 定义匹配信息损失机制
Weight ESS 与 MCMC ESS 处理的是不同问题。MCMC ESS 使用某个 Estimand 的 Integrated Autocorrelation Structure;Survey Design Effect 还可能包含 Cluster 与 Stratum。Elvira、Martino 与 Robert指出传统 Importance Sampling ESS 是有用近似,但存在重要限制;报告中应写清公式和场景,而不能只写“ESS”。
把 ESS 与尾部、切片和估计器诊断结合
应报告 Normalized ESS(ESS / n)、最大归一化权重、高分位权重、零权重比例,以及关键切片 ESS;还要比较合理 Weight Cap 下的结果,并披露引入的偏差。构造置信区间时,应使用尊重 Cluster、用户、Session 或时间依赖的估计器专用方差、Bootstrap 或渐近方法,不能自动把 ESS 代入独立样本公式。
主要特点
- 把权重集中或样本依赖转换为等价观测数
- 等权独立加权观测时等于原始样本数
- 常用 Weight Diagnostic 为 `(sum w)^2 / sum(w^2)`
- MCMC Draw 使用基于 Autocorrelation 的定义
- 不能验证权重、Support、独立性或模型假设
- 必须配合尾部诊断与估计器专用不确定性
常见用途
- 诊断 Off-Policy Evaluation 中的权重集中
- 比较 Importance Sampling 实验的 Proposal
- 监控 Covariate Shift 下的 Density-ratio Weight
- 评估 MCMC Posterior Draw 的自相关
- 为不稳定加权指标定义发布门禁
示例
Loading code...常见问题
基于权重的 Effective Sample Size 衡量什么?
常用 `(sum w)^2 / sum(w^2)` 诊断衡量非负权重相对于等权情况的集中程度。它近似描述不等加权造成的信息损失,但不包含 Outcome Variation、样本依赖、模型误差或 Support Failure。
Effective Sample Size 一定小于原始样本数吗?
对非负权重,Kish Weight Formula 不超过 `n`,并在所有权重相等时等于 `n`。其他定义可能不同;例如负相关下某些 Autocorrelation Estimate 可能超过 `n`,所以必须标明公式和估计器。
Weight ESS 与 MCMC ESS 有什么区别?
Weight ESS 汇总 Importance Weight 或 Survey Weight 的不均等程度;MCMC ESS 估计某个参数或函数因序列自相关损失的信息。两者诊断不同机制,不能互换。
多少 Effective Sample Size 才算足够?
不存在通用阈值。所需 ESS 取决于 Estimand、尾部风险、区间精度、切片规模和错误成本。应通过模拟或历史校准预先定义决策级门槛,并同时检查最大权重与 Support。
可以直接用 ESS 计算置信区间吗?
默认不可以。把独立样本公式中的 `n` 替换为 ESS,会忽略权重估计、Outcome Heterogeneity、Cluster、时间依赖和估计器结构。应使用适配真实估计器与采样单元的方差或重采样方法。