什么是 约束解码？
约束解码是一种在大模型推理时过滤下一 Token 候选的技术，使已生成文本始终满足指定的 Schema、语法、正则表达式或有限选项集合。
快速了解
| 创建时间 | 源于语法约束语言生成技术，并在 2020 年代被大模型推理系统广泛采用 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
约束解码把格式控制从提示词要求下沉到 Token 采样循环。推理引擎先把约束编译成状态机或语法匹配器，再判断哪些 Token 能让当前输出继续保持合法，屏蔽无效候选后完成采样。它可以保证受支持的结构属性，例如合法 JSON 或符合某个 JSON Schema 子集，但不能保证字段值真实、操作已授权、内容安全或业务规则成立。上线前还需评估 Schema 编译、分词器交互、复杂语法、流式输出、拒答和后端降级行为。生产决策矩阵见<a href="https://qubittool.com/zh/blog/constrained-decoding-structured-output-guide">约束解码指南</a>。
主要特点
- 在 Token 生成期间执行约束，而不是生成后再修复文本
- 可约束 JSON Schema、上下文无关文法、正则表达式或枚举选项
- 只保证受支持的结构语言，不保证事实与业务语义正确
- 可能增加 Schema 编译、Token 屏蔽和冷启动延迟
- 必须处理拒答、截断、无解 Schema 与后端降级
常见用途
- 从文档提取类型明确的记录并交给下游校验
- 生成必须符合参数 Schema 的工具调用参数
- 按照正式语法生成领域专用语言或配置
- 把分类器输出限制在固定标签集合
- 减少生产级 LLM 流程中的解析与修复失败
示例
loading...
Loading code...常见问题
约束解码能防止大模型幻觉吗？
不能。输出可以在结构上完全合法，但字段值仍可能错误或缺少证据。解析后仍要根据来源与业务规则验证内容。
约束解码与 JSON 模式有什么区别？
基础 JSON 模式通常只保证结果能被解析为 JSON，不保证对象形状。Schema 引导的约束解码还能约束受支持的字段、类型、必填键和枚举。
约束解码支持完整 JSON Schema 吗？
不一定。不同厂商和语法后端通常只实现 Schema 子集，模型与推理引擎的限制也不同，部署前必须用实际后端验证。
为什么约束解码可能增加延迟？
服务端需要编译 Schema、跟踪语法状态，并在每一步屏蔽非法 Token。未缓存的 Schema 与复杂约束通常有更高开销。
约束输出还需要应用层校验吗？
需要。应用仍应验证语法、Schema、领域不变量、权限、数据新鲜度和证据。解码约束只是输出契约的一层。