什么是 小语言模型？
小语言模型（Small Language Model, SLM）是一类非标准、依赖上下文的语言模型，其资源或能力边界小于相关比较对象。它没有统一参数上限，仅凭 SLM 标签不能证明模型适配设备、满足任务质量、支持离线、降低延迟或保护数据。
快速了解
| 全称 | Small Language Model (SLM) |
|---|---|
| 创建时间 | 2023-2024 年随 Phi、Gemma、SmolLM 等模型兴起 |
工作原理
先定义任务与资源边界
明确支持任务、语言、输入分布、输出契约、上下文长度、质量下限、严重错误策略、延迟目标、内存预算、能耗或温控限制与离线要求，再让具体模型制品与该边界比较。参数量可以作为资产元数据，但不能充当部署门禁。[MobileLLM](https://arxiv.org/abs/2402.14905)说明架构选择会显著影响十亿参数以下模型的能力，因此仅凭 SLM 标签或规模不能判断任务适配。
固定完整端侧制品身份
记录模型与 Tokenizer Revision、Chat Template、量化方案、转换后文件 Hash、License、Runtime 与 Backend 版本、支持算子、设备 SKU、OS 与应用 Build。即使模型家族名不变，转换过程和 Runtime 更新也可能改变数值行为、内存与速度。Google 的 [LiteRT-LM 概览](https://developers.google.com/edge/litert-lm/overview)把部署呈现为模型、运行时与设备的组合；应执行对应 Backend 的兼容性测试，不能假设同一制品在所有平台行为一致。
同时测量任务质量与设备行为
在每个支持设备切片上运行版本化任务集，报告任务 Acceptance Rate 与严重错误，不能只引用聚合模型榜单。需要测量冷启动与热启动 TTFT、逐 Token 延迟或任务 Duration、总常驻与峰值内存、热降频、能耗、崩溃、首载与更新行为。[MLCommons Client Benchmark](https://mlcommons.org/benchmarks/client/)把任务质量要求与 TTFT、生成速率等响应指标组合，是防止“很快但不可用”版本上线的可借鉴模式。
证明隐私、离线能力与恢复路径
声称数据留在设备前，要梳理下载、Telemetry、日志、Crash Report、备份、检索、工具调用与云端回退。应在全新安装后用飞行模式测试启动和任务完成，包括模型获取与 License 检查。制品需要签名与完整性验证，本地存储和权限应受限，并为不安全版本定义远程停用、原子更新与回滚。每个设备切片只有通过自身门禁后，才能路由到本地、混合或托管执行。
主要特点
- 非标准的相对类别，没有标准组织规定的统一参数上限
- 部署身份包含模型 Revision、哈希、Tokenizer、模板、量化、许可证与运行时
- 设备适配由实测总常驻内存决定，而不是由权重文件体积决定
- 质量与延迟必须在版本化目标任务和代表性设备切片上评测
- 只有同时控制遥测、日志、存储与回退，本地运行才可能减少数据外传
- 依据确定性产品门禁，可以选择本地、混合、托管部署或拒绝发布
常见用途
- 具有明确 Schema 的离线信息抽取、分类或命令路由
- 在受支持手机、笔记本、车载或工业设备上的交互助手
- 满足 WebGPU 兼容、首载、缓存和完整性要求的浏览器推理
- 独立控制日志、存储、权限与回退的数据最小化应用
- 每个有效结果成本优于托管基线的高频窄域工作负载
示例
Loading code...常见问题
小语言模型是什么？
小语言模型是指相对于相关比较对象具有更小资源或能力边界的语言模型，它没有统一的 7B、10B 或 13B 参数上限。团队可以记录具体参数量，但最终应结合工作负载、运行时、设备、总内存、任务质量与运行边界判断是否适配。
SLM 与 LLM 有什么区别？
SLM 与 LLM 是相对类别，不是可互操作的技术格式。SLM 通常面向更受限的资源或任务边界，LLM 通常指更大的通用模型。这两个标签都不能直接预测准确率、延迟、成本、上下文支持或部署位置，这些属性属于具体模型制品与系统。
所有小语言模型都能在手机或边缘设备运行吗？
不能。参数量和量化文件体积没有覆盖全部内存与算子要求。候选模型必须容纳权重、KV Cache、缓冲、运行时、应用内存与安全余量，并在每个支持设备切片上通过质量、延迟、温度、能耗、崩溃和生命周期测试。
小语言模型一定比大模型更快、更便宜吗？
不一定。更小的制品可能减少部分计算或供应商费用，但后端 Kernel、Prompt 长度、硬件、热降频、失败任务、人工复核、设备支持与云端回退都会影响结果。应在同一质量策略下比较端到端尾延迟和每个有效任务成本。
本地运行 SLM 就不会泄露数据吗？
本地推理可以避免把 Prompt 发送给推理供应商，但应用仍可能产生网络下载、遥测、日志、崩溃报告、备份、检索、工具调用或云端回退。隐私需要端到端数据流审查、访问控制、保留规则和经过验证的离线行为。