什么是 指令微调(Instruction Tuning)?
指令微调(Instruction Tuning)是一种监督微调方法,它用多样化指令-回答样本训练语言模型,使模型学会遵循用户任务。
工作原理
指令微调是 SFT 的一种具体形式,重点在于让模型理解并执行指令。数据集通常覆盖多种任务类型,例如摘要、抽取、改写、分类、推理和对话。目标不只是记住任务样本,而是改善通用指令遵循能力。强指令微调需要多样、清晰、不矛盾的样本,并使用与模型聊天模板匹配的谨慎格式。
主要特点
- 一种聚焦指令遵循行为的监督方法
- 使用多个任务族提升跨用户意图泛化能力
- 依赖清晰提示、高质量回答和一致聊天格式
- 通常是后续偏好优化的基础
- 可提升可用性,减少为每种行为写任务专用提示词的需求
常见用途
- 把基础语言模型变成有用助手
- 在多类任务中教授一致响应风格
- 改善抽取、摘要、改写和分类行为
- 为 RLHF、DPO 或其他偏好优化准备模型
- 让模型适配产品预期的聊天格式
示例
loading...
Loading code...常见问题
指令微调和 SFT 是一回事吗?
指令微调是 SFT 的一种,专门聚焦于教模型跨任务遵循用户指令。
好的指令数据集有什么特点?
它应多样、清晰、去重、格式正确,并避免矛盾或低质量回答。
指令微调能保证安全吗?
不能。它改善任务遵循,但安全通常还需要策略数据、偏好优化、过滤和评估。
为什么聊天模板格式重要?
模型会从训练格式中学习角色边界和响应模式,模板不匹配会损害行为。