什么是 数据集策划（Dataset Curation）？
更新于
数据集策划（Dataset Curation）是依据明确的模型训练或评测目标，对数据进行选择、转换、标注、切分、记录与效果验证的治理过程。
工作原理
先定义用途与评测契约
筛选数据前，先明确模型阶段、目标行为、不可接受结果、用户分布、语言、模态、任务与决策指标。适合通用预训练的文档，未必能作为 SFT 标准回答或受保护评测样本。应在训练过滤器或生成衍生数据前留出 Validation 与 Test 证据，并说明数据集要代表哪些生产切片；否则所谓「高质量」只是未记录的主观偏好。
保留来源、权利与原始状态
为每条记录分配稳定的 Record、Source 与 Lineage ID，记录采集时间、来源版本、所有者或采集者、Consent 或合法使用依据、License、处理历史及删除义务。公开可访问不等于允许训练。原始输入应按权限不可变保存，Curated 与 Quarantine 结果分开产出，并让删除请求传递到全部衍生版本，使任一样本都能追溯到准确来源和转换步骤。
先校验 Schema 与标签，再做语义打分
在质量模型介入前，应规范编码与结构，并校验必填字段、Role 顺序、Tool Trace、媒体引用、标签值域、截断及 Parser 失败，同时避免规范化过程抹掉有效语义。标注指南、Reviewer Cohort、仲裁、Uncertainty 与 Rationale 都应版本化。合成样本还要保留 Teacher Model、Prompt、采样参数、Verifier 和父样本，才能测量相关错误。
按信息血缘去重和切分
精确 Hash 用于发现完全相同的记录，近重复方法用于识别复制、模板化、改写或转换后的内容；阈值与比较单元必须适配模态和任务，并抽查被拒绝簇以识别误删。应先按来源文档、用户、会话、模板、重复簇和生成变体分组，再分配 Train、Validation 与 Test。评测去污染要检查精确和近似重叠，但无法证明不透明基座模型从未见过公开 Benchmark。
测量过滤与数据配比的权衡
规则、分类器和 AI Judge 编码的是某种质量目标，并不会发现普适质量。应按来源、语言、领域、人群、安全、难度、长度和标签切片比较通过与拒绝样本，并保留可复核的拒绝样本。固定模型与训练配方后，再用受控消融或小型 Proxy Run 调整阈值和混合权重；行数、平均质量分或 Reviewer Agreement 都不能单独证明下游价值。
发布不可变且可监控的数据版本
发布 Manifest 应绑定输入快照、转换代码、模型与 Prompt 版本、Schema、Rubric、切分规则、各阶段数量、拒绝原因、切片分布、License、污染检查、制品 Hash 与已知缺口。用准确发布制品在留出任务和风险切片上对比 Baseline，上线后继续监控生产分布与失败变化；证据或策略改变时发布带迁移记录的新版本，而不是静默覆盖旧数据。
主要特点
- 针对明确的训练、检索或评测目的定义数据质量
- 保留记录级来源、使用权利、转换步骤和删除血缘
- 在语义打分前校验 Schema、标签、媒体或工具引用及截断
- 先聚合精确与近重复样本，再执行血缘安全的数据切分
- 按覆盖、风险与失败切片测量过滤和数据配比效果
- 以 Manifest、Hash、已知限制和监控信号发布不可变制品
常见用途
- 构建带来源配比记录和去污染检查的预训练语料
- 准备 Schema、标签和血缘切分均可验证的 SFT 示范
- 构造偏好数据集并保留候选生成与 Reviewer Provenance
- 维护与训练流水线隔离的受保护评测集和 Golden Dataset
- 在隐私、License、漂移与回滚约束下更新生产反馈数据集
示例
Loading code...常见问题
数据集策划与数据采集、数据清洗有什么区别？
数据采集负责取得原始材料，数据清洗通常修复或删除格式异常与噪声记录。数据集策划治理完整决策链，包括用途、来源权利、Schema、标签、筛选、配比、去重、切分、评测、文档、发布和维护。一个文件即使技术上很干净，也可能不具代表性、缺少使用许可、污染评测或不适合目标训练任务。
怎样判断策划后的数据集是否高质量？
质量取决于任务。先定义目标与风险切片，再在固定训练和评测配方下比较不同数据版本；同时检查 Schema、来源与标签血缘、重复簇、Split 泄漏、覆盖度、过滤误差、隐私与 License 状态以及留出集行为。样本量大、训练 Loss 低或平均质量分高，都不能单独证明数据集有效。
数据集应先去重还是先切分？
应先建立精确重复、近重复和血缘分组，再分配 Train、Validation 与 Test，避免相关记录跨分区。导出后还要逐个 Split 复核，并与受保护评测集做污染检查。代表样本保留规则与相似度阈值必须版本化，因为过度去重不仅会删除重复内容，也可能误删合法的稀有样本。
合成数据可以替代人工策划的数据吗？
默认不能。合成数据可以扩充稀缺切片或生成结构化监督信号，但也会继承 Teacher Model、Prompt、Verifier 和源数据的错误。应保留合成血缘，测量重复与分布漂移，分层抽样人工复核，并保留独立的人工或生产真实 Holdout；只有受控比较证明目标任务和风险切片均改善时才应采用。
一个可发布的数据集版本应包含什么？
应随不可变数据制品发布 Manifest 或 Dataset Card，说明用途、来源、使用权利、Consent 与隐私处理、Schema、标签和转换版本、切分与去重规则、阶段数量、切片分布、污染检查、拒绝原因、制品 Hash、已知限制、维护联系人以及删除或迁移流程。