什么是 灾难性遗忘（Catastrophic Forgetting）？
灾难性遗忘（Catastrophic Forgetting）是模型在新数据上训练或微调后，先前学到的能力丢失或退化的现象。
工作原理
灾难性遗忘是微调中的核心风险。模型如果过度适配狭窄数据集，可能在目标样本上更好，却丢失更广泛的语言能力、安全行为、推理、多语言表现或格式能力。它可能由高学习率、训练步数过多、数据狭窄、混合不佳，或覆盖有用表示的全参数更新引起。团队通常用验证套件、更小更新、PEFT、数据混合、正则化和基线能力回归测试来缓解。
主要特点
- 在新数据训练后退化旧能力
- 常出现在微调数据狭窄或训练过激时
- 可能影响安全、推理、多语言、格式或领域知识
- 如果评估只看新目标任务，问题可能被隐藏
- 需要对基线能力和留出能力做回归测试
常见用途
- 评估 SFT 是否损害通用指令遵循
- 检查领域微调是否降低安全拒答能力
- 比较全量微调与 LoRA 等 PEFT 方法
- 在发布调优模型前运行回归套件
- 设计保留通用能力的数据混合方案
示例
loading...
Loading code...常见问题
如何发现灾难性遗忘？
在微调前后运行覆盖基线能力、安全行为、格式和领域任务的回归评估。
PEFT 能防止灾难性遗忘吗？
它可以降低风险，因为变化的基础权重更少，但不能完全消除遗忘或行为回退。
灾难性遗忘的原因是什么？
常见原因包括数据集狭窄、学习率过高、训练步数过多、数据混合不佳和缺少回归检查。
如何缓解灾难性遗忘？
可以使用精选混合数据、更小更新、PEFT、正则化、早停和覆盖广泛的验证套件。