什么是 监督微调（SFT）？
监督微调（SFT）是一种监督训练阶段，它在精选的提示词-回答样本上微调预训练语言模型。
工作原理
监督微调通常是预训练之后的第一个对齐步骤。它教模型如何遵循指令、按特定格式回答、使用领域语言，或在目标任务上保持一致行为。SFT 的效果更依赖数据质量、覆盖范围和格式纪律，而不是单纯的数据量。生产环境中，当仅靠提示词无法稳定约束行为时，SFT 很有用；但如果样本噪声大，也可能过拟合、降低通用能力或放大错误。
主要特点
- 使用带标签的输入-输出样本，而不是偏好比较
- 把预训练模型适配到目标任务、风格和响应格式
- 对数据质量、去重和指令清晰度高度敏感
- 通常先于 RLHF 或 DPO 等偏好优化方法
- 可通过全量微调或参数高效微调实现
常见用途
- 教模型遵循内部客服回答格式
- 让 LLM 适配领域术语和工作流
- 用精选样本创建任务型助手
- 在偏好优化前准备基础模型
- 当提示词不够稳定时改善结构化输出
示例
loading...
Loading code...常见问题
SFT 和预训练有什么区别？
预训练从大规模语料学习通用语言模式；SFT 使用精选样本教授任务行为和指令遵循。
SFT 数据越多越好吗？
不是。低质量或不一致样本会伤害行为。较小但高质量的数据集往往优于更大的噪声数据。
SFT 会替代提示词吗？
不会。SFT 改变模型行为，而提示词仍负责运行时任务上下文、约束和指令。
什么时候应该使用 SFT？
当重复提示词仍无法可靠产生所需风格、schema、领域行为或任务性能时，可以考虑 SFT。