什么是 视觉语言模型（VLM）？
视觉语言模型（VLM）是通过训练连接视觉与语言表示，并在图像或视频与文本之间执行检索、分类、定位、理解或生成任务的模型。
快速了解
| 全称 | Vision-Language Model (VLM) |
|---|---|
| 创建时间 | 2021 年（OpenAI 的 CLIP），2023-2026 年（生产级多模态 LLM） |
| 规范文档 | 官方规范 |
工作原理
架构与能力边界
VLM 可以分别对齐图像和文本 Embedding，也可以把视觉特征注入语言模型中间层，或把图像 Patch 序列化成生成模型可消费的 Token。不同设计对检索、Caption、视觉问答、定位与文本生成的支持并不相同。视频还需要明确 Frame 或 Clip 的采样策略；能够接收视频文件，不等于覆盖每一帧、保持事件顺序或识别微小文字。应把支持模态、分辨率、坐标系统和输出 Schema 当作版本化能力，而不是从 VLM 标签推断。
输入与证据契约
可复现请求应记录原始素材 Digest、Media Type、方向、页码或帧范围、Resize/Crop 变换、模型和 Processor 版本、Prompt、解码配置与输出 Schema。坐标必须声明基于原图像素、归一化值还是模型变换后的输入。抽取和高影响决策应要求每条 Claim 指向来源区域，并由独立规则或人工验证。压缩与缩放可能抹去小字和缺陷，只有在测量任务准确率后才能优化素材，不能假定降低分辨率始终无损。
评测、幻觉与安全
[OmniDocBench](https://arxiv.org/abs/2412.07626)说明文档解析为何要覆盖不同文档来源、布局类别、属性以及 Pipeline 与端到端系统。VLM 发布评测也应分别测量 OCR、表格、图表、计数、空间、时序、Grounding、拒答和下游任务，并加入真实拍摄退化与语言切片。
[OWASP LLM01](https://genai.owasp.org/llmrisk/llm01-prompt-injection/)把多模态内容列为提示注入攻击面：Tool Authorization 必须留在模型外部，同时隔离外部媒体、测试隐藏视觉指令，并在医疗、法律、金融和安全关键场景保留人工复核。
主要特点
- 连接视觉与语言表示，但可以是对比式、生成式或混合架构
- 采用模型专属的图像切片、视频采样、视觉 Token 化与融合契约
- 可按不同组合支持描述、检索、视觉问答、定位、抽取或生成
- 可能幻觉物体、文字、关系、数量、坐标或事件顺序
- 需要按任务和数据切片评测，不能只看一个多模态总分
- 进入 Agent 或工具工作流时必须把视觉内容视为不可信数据
常见用途
- 回答图像问题并返回可核验的区域证据
- 从文档提取文字、表格、图表和字段后执行校验
- 利用对齐表示检索图文集合
- 在动作受限且需要审批的界面辅助中理解截图
- 按明确时序覆盖分析视频中的采样事件和不确定性
示例
Loading code...常见问题
VLM 与多模态模型、多模态大模型有什么区别？
VLM 指广义视觉语言模型家族，既包括只做检索或分类的双编码器，也包括生成文本的系统。多模态模型范围更广，可以组合音频、文本、视频、动作等模态而不解决视觉语言任务；多模态大模型通常指以生成式语言模型为中心的 VLM，因此这些名称有交集但不是完全同义。
VLM 可以替代 OCR 或传统计算机视觉模型吗？
不能一概替代。VLM 可以读字和描述区域，但专用 OCR、版面分析、检测或分割模型可能提供更可靠的坐标、确定性 Schema 和可调试置信信号。应在同一业务样本上比较端到端 VLM 与模块化 Pipeline，并纳入退化图像和拒答案例。
VLM 如何处理图像和视频？
常见系统先编码图像 Patch，再把视觉特征转换为语言组件可消费的表示，并在预测前融合图文上下文；其他系统使用双编码器或逐层 Cross-attention。视频模型还会采样或压缩帧，因此时序覆盖取决于 Processor，不能从模型名称直接推断。
应该如何评测视觉语言模型？
先固定任务，再把感知与下游决策分开评分。按真实数据切片测量 OCR、表格、图表、计数、空间或时序推理、定位、幻觉、拒答、鲁棒性、延迟和成本；保留来源区域，才能判断错误来自视觉观察还是业务规则。
VLM 能否根据截图或文档安全地控制工具？
只能放在外部控制之后。视觉内容可能包含提示注入、过期状态或误导性覆盖层。Runtime 必须验证 Actor、当前应用状态、精确参数和权限，限制副作用并在必要时要求审批；VLM 的视觉解释只能作为提案，不能充当授权。