直接结论
生产级多模态文档 Pipeline 不是“把图片发给视觉语言模型,再解析 JSON”,而是一条从不可变原件到证据化输出的版本化变换链。坐标、阅读顺序、鉴权、质量、重试、删除和复核都需要明确契约。
当前系统存在多种架构。OmniDocBench同时评测模块化 Pipeline 与端到端 VLM,并拆分文本、版面、表格、公式、阅读顺序、文档类型和属性。PaddleOCR-VL 官方 Pipeline本身也组合了版面分析与区域级 VLM 识别。这些事实说明,“旧 OCR Pipeline 与一个原生模型二选一”的叙事并不成立。
先定义输出契约
选择模型前,先明确下游代码需要什么。
| 工作负载 | 必需产物 | 高影响错误 |
|---|---|---|
| 搜索摄取 | 带来源 ID 的有序文本 Span | 段落缺失或重复 |
| 发票处理 | 关联页内区域的类型化字段 | 金额、币种或供应商错误 |
| 合同审阅 | 条款、表格、脚注和页码 | 例外条款丢失或版本混用 |
| 视觉问答 | 答案、支持区域与拒答状态 | 没有视觉证据却流畅作答 |
| 训练数据制作 | 规范化内容与完整血缘 | 静默污染或许可证丢失 |
Schema 可以证明 total 是十进制字符串,却不能证明它来自总额而非小计、币种正确,也不能证明调用者有权访问该文档。这些分别属于语义、证据和授权契约。
参考架构
规范化产物模型是架构中心。各模型输出都应通过 Adapter 转成统一模型,而不是让供应商格式扩散到整个应用。Document Transformer 可以规范化或补充产物,但必须保留来源与删除血缘。
至少保留:
- 来源 Digest、租户、保留级别和来源版本;
- 页码、渲染尺寸、方向与每一次坐标变换;
- 元素 ID、类型、边界框、阅读顺序前驱和识别文本;
- 引擎名称、制品 Digest、Runtime 修订、Prompt 或配置版本;
- 字段值、规范化方式、证据元素 ID 与校验状态;
- Attempt、延迟、错误类别,以及结果是自动还是人工复核。
三类架构
模块化文档 Pipeline
模块化 Pipeline 拆开页面渲染、版面检测、阅读顺序、OCR、表格、公式和语义抽取。每个阶段都可以使用专用 Document Loader、确定性算法、计算机视觉模型或文档 VLM。
它提供可检查的中间产物与选择性重跑,也制造了兼容性契约:坐标系可能漂移,区域裁剪可能丢失上下文,阅读顺序可能错误,上游删除也必须传播到全部衍生物。
端到端文档 VLM
端到端模型把页面或文档直接映射为文本、Markdown、JSON 或其他结构化表示。它可能保留更广的视觉上下文,并减少部分交接,但“端到端”不会消除预处理、Serving、校验、来源追踪和人工复核。
LLaVA 论文通过视觉指令微调连接视觉编码器与 LLM;Qwen2-VL引入动态分辨率和多模态位置编码。这些是具体架构,不能证明每个 VLM 都有相同的编码器、连接器、视觉 Token 数或训练流程。
混合与路由式 Pipeline
混合方案按页面或字段选择不同路径,例如:
- 数字原生文本走解析器,扫描页走 OCR;
- 简单区域走轻量识别器,困难表格走 VLM;
- 端到端解析器配合独立版面检测器,补齐证据坐标;
- 首次快速处理,只有硬校验失败时才进入复核或第二模型。
路由也有独立错误面。便宜路径如果静默误分困难样本就没有价值;如果两个路径共享同一依赖、Prompt 或损坏输入,Fallback 也不会自动可靠。
分阶段工程方法
1. 摄取不可变原件
任何变换前先计算原始字节哈希。媒体类型应由真实解析确认,不能只信文件扩展名。限制字节数、页数、像素数、解压规模和处理时间。PDF 可能携带脚本、附件、畸形对象或高资源消耗内容,图片也可能触发解码器漏洞与内存耗尽。
使用内容寻址的来源引用。每个衍生产物都回指该 Digest,审计时才能复现某个字段究竟来自哪些字节。
2. 用明确坐标系渲染页面
定义原点、轴方向、单位、页面旋转、裁剪和缩放,并保持变换可逆:
PDF 来源坐标
-> 页面渲染像素
-> 模型输入 Crop
-> 规范化输出坐标
-> 原始页面证据框
每一步都取整会累积误差。内部保留浮点变换,只在 UI 绘制或消费者格式序列化时取整。
3. 分别处理版面与阅读顺序
版面不是装饰。解析器需要区分标题、段落、列表、表格、公式、图片、图注、页眉页脚和边注,再建立阅读顺序。多栏页面、跨栏表格、脚注和旋转标注很容易击穿简单的从上到下排序。
版面检测与阅读顺序应分开评测。某页文本编辑距离很低,仍可能把图注连错图片,或把脚注插进正文中间。
4. 识别内容时保留证据
每个元素同时保存规范化内容与来源区域。文本识别、表格重建、公式转写和图表理解需要不同指标与失败处理。
不要把 VLM 生成的 confidence: 0.98 当作放行概率。如果模型或 OCR 引擎提供分数,应在相同文档家族与部署版本的标注集上做校准。Checksum、必填类型、总额平衡、日期范围等硬不变量仍与学习分数分开。
5. 保守规范化
规范化必须可逆且带类型:
- 规范化文本旁边保留原始文本;
- 区分缺失、不可读、不适用和明确为空;
- 解析数字前保留 Locale 与币种;
- 保留表格跨行跨列结构;
- 不静默修复有歧义的公式、日期或标识符。
每次推断式修正都要记录原值、变换、置信来源和复核状态。
6. 把字段与答案链接到证据
结构化字段应携带一个或多个来源 Span 或 Region;答案应标注来源版本与支持元素。值和证据位置都必须校验。
高影响字段可以比较独立信号:文本区域、表格结构、算术不变量、文档上下文,以及可用时的权威业务记录。多个信号一致能降低不确定性,但不会创造访问权限。
与文档匹配的评测
一个“OCR 准确率”无法描述用户真正遇到的错误。应建立分层矩阵:
| 维度 | 示例指标或检查 |
|---|---|
| 文本 | 按语言和字体拆分的字符或单词错误率 |
| 版面 | 检测精确率/召回率与 Region IoU |
| 阅读顺序 | 成对顺序或序列顺序错误 |
| 表格 | 结构与单元格内容指标 |
| 公式 | 规范化表达式或渲染等价 |
| 字段 | 精确率、召回率、精确匹配、规范化错误 |
| 证据 | 来源区域覆盖率与定位偏差 |
| 端到端 | 文档放行率与高影响字段错误率 |
| 运维 | p95 延迟、吞吐、排队、重试与 OOM 率 |
文档切片应覆盖生产分布:数字原生、扫描、手机拍摄、倾斜、形变、弱光、手写、密集报纸、多语言、公式、表格、印章和对抗内容。公开基准用于理解已发布系统,私有验收集才决定你的系统能否上线。
不依赖虚构跑分的容量与成本分析
不要复制一张按模型名写死 OCR 百分比、延迟、单价或 GPU 数量的表。完整测量契约至少包括:
- 精确模型或 API 快照与许可证;
- 输入分辨率、页数、视觉 Token 策略和输出长度;
- 量化、精度、Runtime、加速器、显存、Batch 与并发;
- 预处理、Prompt、Schema、重试、Cache 与 Fallback;
- Warmup、样本量、p50/p95/p99、能耗或供应商账单;
- 相同页面与字段切片上的质量。
Batching 可能提升吞吐,也可能恶化排队与尾延迟;降采样可能省计算,也可能抹掉小字;感知缓存若没有包含租户、来源 Digest、处理契约和删除状态,可能返回另一份敏感或过期文档的结果。
真正有用的经济指标是单个合格页面或文档成本,其中包含拒绝、重试、复核、存储与闲置容量。
可靠性、安全与恢复
文档、OCR 字符串、VLM 输出和其中的指令都属于不可信输入。
- 处理前鉴权,进入任何下游检索前再次鉴权;
- 将解码器与自托管模型 Runtime 同生产凭证隔离;
- 禁止模型输出选择任意 URL、文件路径、接收人或工具;
- Cache Key 包含租户、来源 Digest、模型/配置版本和政策;
- 重试必须幂等,并显式表示
outcome_unknown; - 删除传播到页面、Crop、文本、Embedding、Cache、Trace 和复核队列;
- 按明确政策只保留调试所需的最少来源内容。
字段级放行与视觉 Prompt Injection 边界可继续阅读 AI 图像理解 Pipeline。本文负责更上层的文档变换系统。
可运行的 Go 血缘校验器
下面的标准库程序检查 Pipeline 结果是否形成连续、版本化的变换链。它能发现缺失引擎版本、输入输出断链、重复阶段名和空输出 Digest。
package main
import (
"errors"
"fmt"
)
type Stage struct {
Name string
Engine string
InputDigest string
OutputDigest string
}
func validateLineage(sourceDigest string, stages []Stage) error {
if sourceDigest == "" {
return errors.New("source digest is required")
}
seen := make(map[string]bool, len(stages))
expectedInput := sourceDigest
for index, stage := range stages {
if stage.Name == "" || stage.Engine == "" {
return fmt.Errorf("stage %d lacks name or engine revision", index)
}
if seen[stage.Name] {
return fmt.Errorf("duplicate stage %q", stage.Name)
}
if stage.InputDigest != expectedInput {
return fmt.Errorf(
"stage %q input %q does not match %q",
stage.Name,
stage.InputDigest,
expectedInput,
)
}
if stage.OutputDigest == "" {
return fmt.Errorf("stage %q has no output digest", stage.Name)
}
seen[stage.Name] = true
expectedInput = stage.OutputDigest
}
return nil
}
func main() {
stages := []Stage{
{Name: "render", Engine: "renderer@sha256:11aa", InputDigest: "src:8f4c", OutputDigest: "pages:91bd"},
{Name: "layout", Engine: "layout@sha256:22bb", InputDigest: "pages:91bd", OutputDigest: "regions:37ce"},
{Name: "recognize", Engine: "vlm@sha256:33cc", InputDigest: "regions:37ce", OutputDigest: "artifact:5ad1"},
}
if err := validateLineage("src:8f4c", stages); err != nil {
panic(err)
}
fmt.Printf("lineage=valid stages=%d final=%s\n",
len(stages),
stages[len(stages)-1].OutputDigest,
)
}
预期输出:
lineage=valid stages=3 final=artifact:5ad1
这个校验器只能证明声明的产物链连续,不能证明抽取内容为真。它必须与任务级评测和来源区域检查配合。
发布清单
- 冻结来源 Fixture、标签、文档切片和验收政策。
- 固定每个解析器、模型、Prompt、Schema、Renderer 与 Runtime 制品。
- 在同一协议下比较模块化、端到端和路由式候选。
- 校验坐标变换与证据链接,不能只看最终文本。
- 测试畸形文件、Prompt Injection、越权文档、取消与重复投递。
- 同时测量合格质量、复核覆盖、尾延迟与成本。
- 先 Shadow,再按文档切片灰度,并准备回滚。
常见问题
应该把 OCR 与 VLM 分数平均成一个置信度吗?
默认不应该。这些分数可能具有不同语义、校准集和失败模式。在标注集证明某种校准方法有效前,应把硬校验、OCR/Detector 分数、模型置信度与证据检查分开保留。
端到端文档模型一定更简单吗?
它可以减少应用层阶段,但完整系统仍需要解码、输入政策、Serving、证据、校验、可观测性、重试、复核和删除。应比较整个生命周期的运维复杂度,而不是只数模型调用次数。
团队应该怎样选择输入分辨率?
在代表性切片上做分辨率 Sweep,并记录视觉 Token、内存、延迟、小字错误、表格结构和成本。固定最大边长无法跨模型、页面尺寸和任务直接复用。
相似文档图片可以共享缓存结果吗?
只有经过严格测试的等价契约才允许。感知相似不能证明金额、姓名、签名或权限相同。优先使用精确来源 Digest,并让 Cache Key 包含租户、处理版本和删除状态。
某个阶段超时后应该怎样处理?
把 Attempt 记录为不完整,尽可能取消下游,并在重试前对账持久状态。重试必须携带幂等键,也不能静默混合不同 Attempt 的产物。