什么是 黄金数据集（Golden Dataset）？
黄金数据集（Golden Dataset）是经过版本管理和人工审阅的评测集，其中每个用例都为明确的模型或 AI 系统决策绑定代表性输入、可辩护的判定基准（Oracle）、来源与切片元数据。
工作原理
黄金数据集也常称 Golden Set 或可信参考集，它比全部可用评测数据范围更窄，也不等同于通用公开 Benchmark。「Golden」表示用例及其预期行为对于指定决策和数据版本经过审阅、能够解释，并不表示标签永远无误或每个任务只有一个完美答案。
每个评测单元都应保留复现行为所需的输入，例如消息、来源文档 Revision、工具状态、预期副作用和终态。Oracle 可以是精确标签或 Schema、允许答案集合、基于证据的 Must Include 与 Must Not Claim 断言、Behavioral Rubric、可执行检查或经仲裁的人工判断。
用例可来自脱敏生产样本、事故、需求、专家边界、对抗分析和经过复核的合成候选，并记录来源权限、隐私处理、Reviewer 状态、分歧与理由。应分离可见 Development Set、用于选择阈值的 Validation Set 和受保护 Holdout，并按客户、会话、文档或代码仓库等 Leakage Group 切分，防止近重复跨界。
数据集、Schema、Rubric、Grader、评测 Prompt、模型、检索快照、Tool 定义、Runtime、采样参数、聚合规则和发布策略需要联合版本化。候选与 Baseline 必须在同一不可变 Revision 上比较，按风险切片报告结果与不确定性；输出有随机性时还需重复运行。黄金数据集只能支持其适用范围内的离线结论，不能单独证明生产分布代表性、实时鉴权、延迟或模型通用能力。
主要特点
- 定义明确的评测决策、目标人群、分析单元、失败分类和覆盖切片
- 为每项输入配置范围最窄的有效 Oracle：精确输出、允许集合、断言、Rubric、可执行检查或仲裁结论
- 记录来源、使用权限、隐私审查、标注指南 Revision、Reviewer 状态、分歧与理由
- 通过分组级精确、近重复和语义泄漏检查隔离 Development、Validation 与受保护 Holdout
- 联合版本化 Dataset、Schema、Rubric、Grader、系统配置、采样设置、聚合规则与发布策略
- 按切片报告结果、重复运行方差或不确定性、覆盖边界及相对不可变 Baseline 的变化
常见用途
- 当关键行为回归时阻断 Prompt、模型、检索、Tool 或策略发布
- 在相同产品任务和风险切片上比较模型或系统候选版本
- 评测确定性 Schema、检索证据、开放式回答、Tool 轨迹与终态
- 回放经过脱敏的生产事故，让已经修复的失败类型持续受到保护
- 在自动评分前，用独立人工结论校准 LLM-as-Judge
示例
Loading code...常见问题
黄金数据集、普通评测集和 Benchmark 有什么区别？
评测集是上位概念。黄金数据集是经过审阅和版本管理、用于支持特定产品或模型决策的可信子集。Benchmark 通常还包含可供多个系统复用的标准任务、协议、指标与对照目标。私有业务 Golden Dataset 可以包含专有工作流与事故，因此不必成为公开或通用 Benchmark。
黄金数据集中的每个用例都需要唯一标准答案吗？
不需要。分类标签、计算结果、规范化序列和固定 Schema 适合精确答案；开放式回答则更适合记录必备事实、禁止断言、批准证据、允许答案集合、Behavioral Rubric、可执行检查或人工仲裁结论。Oracle 应表达能够辩护的行为边界，而不是惩罚无害的措辞差异。
黄金数据集应该多大？
不存在通用样本数。规模取决于目标分布、指标基础率与方差、最小可检测效应、重复运行波动、切片覆盖、风险容忍度和审阅预算。应先建立可辩护的高影响用例，再通过学习曲线或覆盖曲线发现盲区，而不是追求固定总数。
如何防止黄金数据集泄漏和过拟合？
团队可控制的训练、Few-shot、Development、Validation 与受保护 Holdout 必须隔离。先按客户、会话、文档、仓库或事故等稳定 Group 切分，再检查精确、近重复和语义重叠，并限制 Holdout 访问、记录每次暴露。团队反复查看某组用例并据此调 Prompt 后，这些用例实际上已成为 Development Data，即使文件仍叫 Test。对于训练数据不透明的第三方基座模型，预训练重叠可能无法被完全证明不存在，应记录这一限制，并尽量使用私有、训练截止日期之后或定期轮换的 Holdout。
黄金数据集如何持续更新又保持历史结果可比？
不能静默覆盖原有含义。应联合版本化 Dataset、Schema、Rubric、Grader、来源 Revision 与发布策略；让候选和 Baseline 在同一不可变版本上运行；迁移时保留重叠的冻结 Core 或 Bridge Set；分别报告新增、删除、重标注、不确定性和切片变化。离线结果仍需结合线上监控判断分布漂移。