什么是 小语言模型？
小语言模型（SLM）是一类参数数量显著少于大型语言模型的语言模型，通常从数亿到几十亿参数不等，专为在资源受限的设备上高效部署而设计，同时保持实用的能力。
快速了解
| 全称 | Small Language Model (SLM) |
|---|---|
| 创建时间 | 2023-2024 年随 Phi、Gemma、SmolLM 等模型兴起 |
工作原理
小语言模型代表了 AI 向效率和可及性发展的趋势。虽然像 GPT-4 这样的大型语言模型拥有数千亿参数，但 SLM 以其一小部分规模实现了实用性。这些模型可以在边缘设备、手机和笔记本电脑上运行，无需云基础设施。通过蒸馏、量化和高效架构等技术，SLM 在大幅降低计算需求的同时，为许多任务提供了令人惊讶的出色性能。
主要特点
- 参数数量通常低于 100 亿
- 针对边缘和移动部署优化
- 更低延迟和更快推理
- 减少内存和计算需求
- 通常专门针对特定领域或任务
- 可在无网络连接的情况下本地运行
常见用途
- 设备端 AI 助手和聊天机器人
- 具有离线功能的移动应用
- 物联网和嵌入式系统
- 需要本地处理的隐私敏感应用
- 大规模经济高效部署
示例
loading...
Loading code...常见问题
什么是小语言模型？
小语言模型（SLM）是参数数量显著少于大型语言模型的语言模型，通常低于 100 亿参数。SLM 专为在手机和笔记本电脑等资源受限设备上高效部署而设计，同时仍提供有用的 AI 能力。
SLM 与 LLM 在性能上如何比较？
SLM 以一些能力换取效率。虽然它们在复杂推理任务上可能无法匹敌 LLM，但现代 SLM 在许多实际任务上表现出色。经过微调后，它们在特定领域表现优异，并提供更快的推理、更低的成本和本地运行的能力。
有哪些流行的小语言模型？
流行的 SLM 包括微软的 Phi-3（38 亿参数）、谷歌的 Gemma-2B、Meta 的 Llama-3.2-3B、阿里巴巴的 Qwen2.5-3B 和 HuggingFace 的 SmolLM。这些模型证明了在高质量数据上精心训练可以用更少的参数实现强大的结果。
小语言模型有哪些优势？
SLM 的优势包括：无需 GPU 即可在消费级硬件上运行、更快的推理和更低的延迟、降低运营成本、无需云依赖的离线能力、通过本地保存数据获得更好的隐私，以及更容易在边缘设备和移动平台上部署。
小语言模型是如何训练的？
SLM 使用以下技术训练：从更大模型进行知识蒸馏、精心策划高质量训练数据、高效架构和专门的训练目标。一些 SLM 使用由更大模型生成的合成数据来提高训练效率。