什么是 适配器（Adapter）？
适配器（Adapter）是添加到预训练神经网络中的小型可训练模块，使模型可以在不更新全部原始权重的情况下被适配。
工作原理
适配器是一类参数高效微调技术。它不是修改大模型的每个参数，而是在基础模型大多冻结的情况下，只训练较小的一组插入或附加参数。这可以降低显存、存储和部署成本，并更容易维护多个任务专用变体。适配器风格方法包括 bottleneck adapter、LoRA 风格低秩适配器、prompt adapter 和其他 PEFT 变体。
主要特点
- 向较大的冻结或基本冻结模型添加小型可训练组件
- 相比全量微调降低训练显存和存储成本
- 支持在同一基础模型上维护多个任务专用变体
- 可能用部分峰值质量换取效率和运维简化
- 与 PEFT、LoRA、QLoRA 和低秩适配密切相关
常见用途
- 为共享 LLM 创建领域专用变体
- 在有限 GPU 显存上进行微调
- 为多个客户提供定制化模型行为
- 无需复制完整模型权重即可进行任务适配实验
- 将高效训练与快速回滚及版本控制相结合
示例
loading...
Loading code...常见问题
LoRA 是适配器方法吗？
是。LoRA 通常被视为适配器风格的 PEFT 方法，因为它为基础模型添加可训练低秩更新。
为什么用适配器而不是全量微调？
适配器可降低训练成本、存储成本和运维复杂度，尤其适合维护许多模型变体。
适配器可以合并进基础模型吗？
某些适配器类型，例如 LoRA，通常可根据框架能力合并进基础权重用于部署。
适配器质量总能匹配全量微调吗？
不一定。它们很高效，但质量取决于任务、rank 或适配器大小、数据质量和模型架构。