什么是 LoRA 秩（LoRA Rank）？
LoRA 秩（LoRA Rank）是 LoRA 适配器中使用的低秩维度，用于控制向冻结基础模型添加多少可训练容量。
工作原理
LoRA 用低秩矩阵近似权重更新。rank 决定这些矩阵的大小：更高 rank 增加可训练参数和表达能力，更低 rank 成本更低、体积更小。选择 rank 是实际工程取舍，而不是通用规则。较小 rank 可能无法拟合复杂任务；较大 rank 可能增加显存、训练时间、存储和过拟合。rank 应结合验证数据、目标模块、数据集大小和部署约束调优。
主要特点
- 控制 LoRA 适配器更新的可训练容量
- 更高 rank 通常增加显存、存储和适配能力
- 更低 rank 成本更低，但可能欠拟合困难或宽泛任务
- 会与目标模块、alpha 缩放、dropout 和数据质量相互作用
- 应通过任务验证选择，而不是盲目复制默认值
常见用途
- 为领域指令遵循调优 LoRA 适配器
- 在 GPU 显存和微调质量之间平衡
- 比较 r=8、r=16 和 r=64 的适配器实验
- 为大量客户变体减少适配器存储
- 诊断 PEFT 实验中的欠拟合或过拟合
示例
loading...
Loading code...常见问题
LoRA rank 应该从多少开始？
常见实验会从 8 或 16 等适中 rank 开始，再根据任务质量、显存和过拟合情况验证。
rank 越高质量一定越好吗？
不是。更高 rank 增加容量，但如果任务或数据集不需要，可能浪费资源或过拟合。
LoRA rank 如何影响部署？
更高 rank 会增加适配器大小，并可能影响显存和加载成本，尤其是服务许多适配器时。
rank 是 LoRA 唯一重要参数吗？
不是。目标模块、alpha、dropout、学习率、数据质量和训练步数也很重要。