什么是 混合专家模型？
混合专家模型（MoE）是一种神经网络架构，使用多个专门的子网络（专家）和门控机制来动态地将输入路由到最相关的专家，在保持计算效率的同时实现大规模模型容量。
快速了解
| 全称 | Mixture of Experts (MoE) |
|---|---|
| 创建时间 | 1991 年由 Jacobs 等人提出，2022 年起在 LLM 中流行 |
工作原理
混合专家模型代表了高效扩展语言模型的范式转变。MoE 模型不是为每个输入激活所有参数，而是使用路由器为每个令牌选择专家网络的子集。这种稀疏激活允许模型拥有数万亿参数，而在推理时只使用一小部分。著名的例子包括 Mixtral、GPT-4（传闻）和谷歌的 Switch Transformer。MoE 通过允许不同的专家专门处理不同类型的知识或任务，实现了更好的每计算性能。
主要特点
- 稀疏激活 - 每个输入只使用专家子集
- 门控/路由机制选择相关专家
- 每个专家专门处理不同的知识领域
- 大规模总参数与高效推理
- 负载均衡确保所有专家都被利用
- 可扩展架构支持超大模型
常见用途
- Mixtral 和 GPT-4 等大规模语言模型
- 具有专门专家的多任务学习
- 模型容量的高效扩展
- 领域特定 AI 系统
- 降低大型模型的推理成本
示例
loading...
Loading code...常见问题
什么是混合专家模型（MoE）？
混合专家模型是一种神经网络架构，使用多个专门的子网络（专家）和路由机制，动态选择哪些专家处理每个输入。这使模型能够拥有大量参数，同时在推理时只激活一小部分，实现更好的效率。
MoE 如何提高模型效率？
MoE 通过稀疏激活提高效率：不是为每个输入使用所有参数，而是每个令牌只激活专家子集（通常是 8 个以上专家中的 2 个）。这允许模型拥有数万亿总参数，而推理成本与活跃参数成比例，而非总参数。
哪些模型使用混合专家？
著名的 MoE 模型包括 Mistral AI 的 Mixtral 8x7B 和 8x22B、谷歌的 Switch Transformer 和 GLaM，据传 GPT-4 也使用 MoE。这些模型证明 MoE 可以在提高计算效率的同时实现最先进的性能。
MoE 中的路由器是什么？
路由器（或门控网络）是一个学习组件，决定哪些专家应该处理每个输入令牌。它为每个专家输出概率分数，通常选择得分最高的 top-k 个专家。良好的路由对 MoE 性能至关重要。
MoE 模型有哪些挑战？
挑战包括：负载均衡以确保所有专家都被有效使用、存储所有专家参数增加的内存需求、分布式训练中的通信开销、一些专家未被充分利用的专家崩溃问题，以及训练动态的复杂性。