什么是 指令微调(Instruction Tuning)?

指令微调(Instruction Tuning)是一种监督微调方法,它用多样化指令-回答样本训练语言模型,使模型学会遵循用户任务。

工作原理

指令微调是 SFT 的一种具体形式,重点在于让模型理解并执行指令。数据集通常覆盖多种任务类型,例如摘要、抽取、改写、分类、推理和对话。目标不只是记住任务样本,而是改善通用指令遵循能力。强指令微调需要多样、清晰、不矛盾的样本,并使用与模型聊天模板匹配的谨慎格式。

主要特点

  • 一种聚焦指令遵循行为的监督方法
  • 使用多个任务族提升跨用户意图泛化能力
  • 依赖清晰提示、高质量回答和一致聊天格式
  • 通常是后续偏好优化的基础
  • 可提升可用性,减少为每种行为写任务专用提示词的需求

常见用途

  1. 把基础语言模型变成有用助手
  2. 在多类任务中教授一致响应风格
  3. 改善抽取、摘要、改写和分类行为
  4. 为 RLHF、DPO 或其他偏好优化准备模型
  5. 让模型适配产品预期的聊天格式

示例

loading...
Loading code...

常见问题

指令微调和 SFT 是一回事吗?

指令微调是 SFT 的一种,专门聚焦于教模型跨任务遵循用户指令。

好的指令数据集有什么特点?

它应多样、清晰、去重、格式正确,并避免矛盾或低质量回答。

指令微调能保证安全吗?

不能。它改善任务遵循,但安全通常还需要策略数据、偏好优化、过滤和评估。

为什么聊天模板格式重要?

模型会从训练格式中学习角色边界和响应模式,模板不匹配会损害行为。

相关工具

相关术语

相关文章