直接结论

生产级多模态文档 Pipeline 不是“把图片发给视觉语言模型,再解析 JSON”,而是一条从不可变原件到证据化输出的版本化变换链。坐标、阅读顺序、鉴权、质量、重试、删除和复核都需要明确契约。

当前系统存在多种架构。OmniDocBench同时评测模块化 Pipeline 与端到端 VLM,并拆分文本、版面、表格、公式、阅读顺序、文档类型和属性。PaddleOCR-VL 官方 Pipeline本身也组合了版面分析与区域级 VLM 识别。这些事实说明,“旧 OCR Pipeline 与一个原生模型二选一”的叙事并不成立。

先定义输出契约

选择模型前,先明确下游代码需要什么。

工作负载 必需产物 高影响错误
搜索摄取 带来源 ID 的有序文本 Span 段落缺失或重复
发票处理 关联页内区域的类型化字段 金额、币种或供应商错误
合同审阅 条款、表格、脚注和页码 例外条款丢失或版本混用
视觉问答 答案、支持区域与拒答状态 没有视觉证据却流畅作答
训练数据制作 规范化内容与完整血缘 静默污染或许可证丢失

Schema 可以证明 total 是十进制字符串,却不能证明它来自总额而非小计、币种正确,也不能证明调用者有权访问该文档。这些分别属于语义、证据和授权契约。

参考架构

flowchart LR A["不可变原始字节"] --> B["解码与安全扫描"] B --> C["页面渲染 + 坐标映射"] C --> D{"按页面契约路由"} D --> E["版面 + 区域识别"] D --> F["端到端文档 VLM"] E --> G["规范化产物模型"] F --> G G --> H["字段抽取 + 证据链接"] H --> I["确定性校验"] I --> J{"放行、复核或拒绝"} J --> K["版本化索引 / 下游系统"]

规范化产物模型是架构中心。各模型输出都应通过 Adapter 转成统一模型,而不是让供应商格式扩散到整个应用。Document Transformer 可以规范化或补充产物,但必须保留来源与删除血缘。

至少保留:

  • 来源 Digest、租户、保留级别和来源版本;
  • 页码、渲染尺寸、方向与每一次坐标变换;
  • 元素 ID、类型、边界框、阅读顺序前驱和识别文本;
  • 引擎名称、制品 Digest、Runtime 修订、Prompt 或配置版本;
  • 字段值、规范化方式、证据元素 ID 与校验状态;
  • Attempt、延迟、错误类别,以及结果是自动还是人工复核。

三类架构

模块化文档 Pipeline

模块化 Pipeline 拆开页面渲染、版面检测、阅读顺序、OCR、表格、公式和语义抽取。每个阶段都可以使用专用 Document Loader、确定性算法、计算机视觉模型或文档 VLM。

它提供可检查的中间产物与选择性重跑,也制造了兼容性契约:坐标系可能漂移,区域裁剪可能丢失上下文,阅读顺序可能错误,上游删除也必须传播到全部衍生物。

端到端文档 VLM

端到端模型把页面或文档直接映射为文本、Markdown、JSON 或其他结构化表示。它可能保留更广的视觉上下文,并减少部分交接,但“端到端”不会消除预处理、Serving、校验、来源追踪和人工复核。

LLaVA 论文通过视觉指令微调连接视觉编码器与 LLM;Qwen2-VL引入动态分辨率和多模态位置编码。这些是具体架构,不能证明每个 VLM 都有相同的编码器、连接器、视觉 Token 数或训练流程。

混合与路由式 Pipeline

混合方案按页面或字段选择不同路径,例如:

  • 数字原生文本走解析器,扫描页走 OCR;
  • 简单区域走轻量识别器,困难表格走 VLM;
  • 端到端解析器配合独立版面检测器,补齐证据坐标;
  • 首次快速处理,只有硬校验失败时才进入复核或第二模型。

路由也有独立错误面。便宜路径如果静默误分困难样本就没有价值;如果两个路径共享同一依赖、Prompt 或损坏输入,Fallback 也不会自动可靠。

分阶段工程方法

1. 摄取不可变原件

任何变换前先计算原始字节哈希。媒体类型应由真实解析确认,不能只信文件扩展名。限制字节数、页数、像素数、解压规模和处理时间。PDF 可能携带脚本、附件、畸形对象或高资源消耗内容,图片也可能触发解码器漏洞与内存耗尽。

使用内容寻址的来源引用。每个衍生产物都回指该 Digest,审计时才能复现某个字段究竟来自哪些字节。

2. 用明确坐标系渲染页面

定义原点、轴方向、单位、页面旋转、裁剪和缩放,并保持变换可逆:

text
PDF 来源坐标
  -> 页面渲染像素
  -> 模型输入 Crop
  -> 规范化输出坐标
  -> 原始页面证据框

每一步都取整会累积误差。内部保留浮点变换,只在 UI 绘制或消费者格式序列化时取整。

3. 分别处理版面与阅读顺序

版面不是装饰。解析器需要区分标题、段落、列表、表格、公式、图片、图注、页眉页脚和边注,再建立阅读顺序。多栏页面、跨栏表格、脚注和旋转标注很容易击穿简单的从上到下排序。

版面检测与阅读顺序应分开评测。某页文本编辑距离很低,仍可能把图注连错图片,或把脚注插进正文中间。

4. 识别内容时保留证据

每个元素同时保存规范化内容与来源区域。文本识别、表格重建、公式转写和图表理解需要不同指标与失败处理。

不要把 VLM 生成的 confidence: 0.98 当作放行概率。如果模型或 OCR 引擎提供分数,应在相同文档家族与部署版本的标注集上做校准。Checksum、必填类型、总额平衡、日期范围等硬不变量仍与学习分数分开。

5. 保守规范化

规范化必须可逆且带类型:

  • 规范化文本旁边保留原始文本;
  • 区分缺失、不可读、不适用和明确为空;
  • 解析数字前保留 Locale 与币种;
  • 保留表格跨行跨列结构;
  • 不静默修复有歧义的公式、日期或标识符。

每次推断式修正都要记录原值、变换、置信来源和复核状态。

6. 把字段与答案链接到证据

结构化字段应携带一个或多个来源 Span 或 Region;答案应标注来源版本与支持元素。值和证据位置都必须校验。

高影响字段可以比较独立信号:文本区域、表格结构、算术不变量、文档上下文,以及可用时的权威业务记录。多个信号一致能降低不确定性,但不会创造访问权限。

与文档匹配的评测

一个“OCR 准确率”无法描述用户真正遇到的错误。应建立分层矩阵:

维度 示例指标或检查
文本 按语言和字体拆分的字符或单词错误率
版面 检测精确率/召回率与 Region IoU
阅读顺序 成对顺序或序列顺序错误
表格 结构与单元格内容指标
公式 规范化表达式或渲染等价
字段 精确率、召回率、精确匹配、规范化错误
证据 来源区域覆盖率与定位偏差
端到端 文档放行率与高影响字段错误率
运维 p95 延迟、吞吐、排队、重试与 OOM 率

文档切片应覆盖生产分布:数字原生、扫描、手机拍摄、倾斜、形变、弱光、手写、密集报纸、多语言、公式、表格、印章和对抗内容。公开基准用于理解已发布系统,私有验收集才决定你的系统能否上线。

不依赖虚构跑分的容量与成本分析

不要复制一张按模型名写死 OCR 百分比、延迟、单价或 GPU 数量的表。完整测量契约至少包括:

  • 精确模型或 API 快照与许可证;
  • 输入分辨率、页数、视觉 Token 策略和输出长度;
  • 量化、精度、Runtime、加速器、显存、Batch 与并发;
  • 预处理、Prompt、Schema、重试、Cache 与 Fallback;
  • Warmup、样本量、p50/p95/p99、能耗或供应商账单;
  • 相同页面与字段切片上的质量。

Batching 可能提升吞吐,也可能恶化排队与尾延迟;降采样可能省计算,也可能抹掉小字;感知缓存若没有包含租户、来源 Digest、处理契约和删除状态,可能返回另一份敏感或过期文档的结果。

真正有用的经济指标是单个合格页面或文档成本,其中包含拒绝、重试、复核、存储与闲置容量。

可靠性、安全与恢复

文档、OCR 字符串、VLM 输出和其中的指令都属于不可信输入。

  • 处理前鉴权,进入任何下游检索前再次鉴权;
  • 将解码器与自托管模型 Runtime 同生产凭证隔离;
  • 禁止模型输出选择任意 URL、文件路径、接收人或工具;
  • Cache Key 包含租户、来源 Digest、模型/配置版本和政策;
  • 重试必须幂等,并显式表示 outcome_unknown;
  • 删除传播到页面、Crop、文本、Embedding、Cache、Trace 和复核队列;
  • 按明确政策只保留调试所需的最少来源内容。

字段级放行与视觉 Prompt Injection 边界可继续阅读 AI 图像理解 Pipeline。本文负责更上层的文档变换系统。

可运行的 Go 血缘校验器

下面的标准库程序检查 Pipeline 结果是否形成连续、版本化的变换链。它能发现缺失引擎版本、输入输出断链、重复阶段名和空输出 Digest。

go
package main

import (
	"errors"
	"fmt"
)

type Stage struct {
	Name         string
	Engine       string
	InputDigest  string
	OutputDigest string
}

func validateLineage(sourceDigest string, stages []Stage) error {
	if sourceDigest == "" {
		return errors.New("source digest is required")
	}

	seen := make(map[string]bool, len(stages))
	expectedInput := sourceDigest
	for index, stage := range stages {
		if stage.Name == "" || stage.Engine == "" {
			return fmt.Errorf("stage %d lacks name or engine revision", index)
		}
		if seen[stage.Name] {
			return fmt.Errorf("duplicate stage %q", stage.Name)
		}
		if stage.InputDigest != expectedInput {
			return fmt.Errorf(
				"stage %q input %q does not match %q",
				stage.Name,
				stage.InputDigest,
				expectedInput,
			)
		}
		if stage.OutputDigest == "" {
			return fmt.Errorf("stage %q has no output digest", stage.Name)
		}
		seen[stage.Name] = true
		expectedInput = stage.OutputDigest
	}
	return nil
}

func main() {
	stages := []Stage{
		{Name: "render", Engine: "renderer@sha256:11aa", InputDigest: "src:8f4c", OutputDigest: "pages:91bd"},
		{Name: "layout", Engine: "layout@sha256:22bb", InputDigest: "pages:91bd", OutputDigest: "regions:37ce"},
		{Name: "recognize", Engine: "vlm@sha256:33cc", InputDigest: "regions:37ce", OutputDigest: "artifact:5ad1"},
	}

	if err := validateLineage("src:8f4c", stages); err != nil {
		panic(err)
	}
	fmt.Printf("lineage=valid stages=%d final=%s\n",
		len(stages),
		stages[len(stages)-1].OutputDigest,
	)
}

预期输出:

text
lineage=valid stages=3 final=artifact:5ad1

这个校验器只能证明声明的产物链连续,不能证明抽取内容为真。它必须与任务级评测和来源区域检查配合。

发布清单

  1. 冻结来源 Fixture、标签、文档切片和验收政策。
  2. 固定每个解析器、模型、Prompt、Schema、Renderer 与 Runtime 制品。
  3. 在同一协议下比较模块化、端到端和路由式候选。
  4. 校验坐标变换与证据链接,不能只看最终文本。
  5. 测试畸形文件、Prompt Injection、越权文档、取消与重复投递。
  6. 同时测量合格质量、复核覆盖、尾延迟与成本。
  7. 先 Shadow,再按文档切片灰度,并准备回滚。

常见问题

应该把 OCR 与 VLM 分数平均成一个置信度吗?

默认不应该。这些分数可能具有不同语义、校准集和失败模式。在标注集证明某种校准方法有效前,应把硬校验、OCR/Detector 分数、模型置信度与证据检查分开保留。

端到端文档模型一定更简单吗?

它可以减少应用层阶段,但完整系统仍需要解码、输入政策、Serving、证据、校验、可观测性、重试、复核和删除。应比较整个生命周期的运维复杂度,而不是只数模型调用次数。

团队应该怎样选择输入分辨率?

在代表性切片上做分辨率 Sweep,并记录视觉 Token、内存、延迟、小字错误、表格结构和成本。固定最大边长无法跨模型、页面尺寸和任务直接复用。

相似文档图片可以共享缓存结果吗?

只有经过严格测试的等价契约才允许。感知相似不能证明金额、姓名、签名或权限相同。优先使用精确来源 Digest,并让 Cache Key 包含租户、处理版本和删除状态。

某个阶段超时后应该怎样处理?

把 Attempt 记录为不完整,尽可能取消下游,并在重试前对账持久状态。重试必须携带幂等键,也不能静默混合不同 Attempt 的产物。

一手资料