AI 图片生成系统不存在长期有效的总体排名。 可辩护的比较必须固定工作负载、模型与服务修订、输入素材权利、参数、重复 Trial 策略、评估器、失败处理和总成本边界,再按切片报告结果,不能把一个审美偏好分数扩张成普适冠军。

工作负载可以是文生图、参考图编辑,或更广泛生成式 AI系统中的两者组合。不能根据输出画风推断闭源系统是否使用扩散模型,并应把 AI 水印或其他来源信号与视觉质量分开评测。

核心要点

  • “最好的图片模型”是依赖工作负载的结论,不是稳定事实。
  • Benchmark 数字只有和完整 Harness、模型快照一起出现才有意义。
  • 文字渲染、构图、编辑、安全、许可证和成本需要分开测试。
  • 本地部署可能减少供应商传输或按量费用,但不会自动消除总运营成本和隐私义务。
  • 生产选择要同时比较质量和失败恢复;好看的图片如果无法修正、追溯或删除,也可能不适合上线。

先定义工作负载,再谈模型名称

在查看供应商对比前,先写一份工作负载契约:

维度 示例证据
输出 宽高比、分辨率、格式、透明通道、静态/动画、生成/编辑
Prompt 语言、布局约束、文字、计数对象、负向约束
参考图 数量、使用权、身份/风格保持要求
审核 人工验收标准、升级路径、禁止内容
运营 QPS、并发、超时、重试、幂等、存储和流量
治理 地域、保留期、训练使用、审计权限、许可证和署名

这样可以避免把创意预览产品、API 和自托管权重当成同一种产品比较。

当真实客户素材并非必要时,应使用经过批准的素材或合成数据构造 Fixture,同时说明它们与生产文字、品牌、身份和失败案例的接近程度。

建立固定版本的对比矩阵

不要从画风或延迟推断私有架构。只记录可观察行为及其证据来源:

字段 应记录
系统身份 供应商、模型 ID/权重、修订版、Endpoint 或产品套餐
能力 输入模态、图片尺寸、编辑操作、输出格式
限制 限流、并发、Prompt 长度、参考图数量、内容策略
许可证 代码、权重、输出、训练数据、托管条款、商标和再分发
数据处理 地域、保留、训练使用、删除路径、子处理者
证据 模型卡、API Schema、条款、价目表、实测 Fixture、访问日期

Midjourney、Flux、GPT Image 或 Seedream 等名称可以帮助检索,但名称本身不能确定稳定的模型版本、许可证或能力集合。

可复现的质量 Harness

使用小型、版本化的 Fixture 集,而不是一张展示图。至少覆盖:

  1. 构图:对象计数、相对位置、遮挡、景深和负向约束。
  2. 文字:多语言、标点、换行、小字号标签和旋转文字。
  3. 参考图:身份、配色、姿势、产品几何和受控风格变化。
  4. 编辑:蒙版边界、背景替换、扩图和连续编辑。
  5. 安全与拒答:良性边界、禁止请求和误拒答复核。
  6. 鲁棒性:改写 Prompt、种子变化、长 Prompt、重试和暂时性故障。

保存 Prompt、可用时的种子、输入 Hash、模型修订、参数、输出 Hash、延迟时间戳、错误类别和评测标准。原始素材应存放在经过批准的位置,并设置访问与保留控制。

为什么不能只看标题分数

FID 衡量特定设置下的分布相似性;CLIP 类分数依赖编码器和 Prompt;偏好率依赖采样、评审指令和比较集合。它们都不能直接衡量品牌一致性、法律安全、文字正确性或可编辑性。发布分数时应同时给出数据集修订、分辨率、采样器、种子策略、评测器、不确定性和日期。

近期研究进一步说明必须使用指标组合。TIIF-Bench 用 5,000 组长短 Prompt、细粒度属性检查、专用评估器、文字编辑距离与风格参考研究指令遵循;BizGenEval 用 400 个 Prompt 和 8,000 个经人工核验的 Checklist 问题,覆盖幻灯片、图表、网页、海报和科学插图。这些数字只描述各自论文的 Benchmark,不能当成生产测试集的通用规模,也不能把论文分数直接移植到另一套 Harness。

公共 Benchmark 适合发现失败类别,生产评测仍应从真实用户任务构造更小的私有 Suite,并分开以下层次:

层次 示例判定方式 必须分开的原因
指令事实 对数量、属性、关系和禁止项做 Binary Checklist 全局相似度可能掩盖一个关键约束缺失
文字 精确文本、标准化编辑距离、行序和可读性 画面美观不能证明字符正确
布局 区域、对齐、层级和阅读顺序 对象正确也可能组成不可用版式
编辑 请求修改与受保护区域保持 生成质量不能衡量局部编辑能力
偏好 盲测 Pairwise 或 Rubric 人工评审 主观价值随受众和任务变化
运维 合法输出、延迟、重试、审核和 Durable Asset Benchmark 图片不能证明服务可靠

把文字与布局分开评测

对带文字的图片,分别测量精确字符串匹配、字符错误率、行序、文字框重叠和目标显示尺寸下的可读性。人工“看起来正确”应与 OCR 结果分开报告。每种语言和文字方向都要有样本,不能把英文结果直接外推到中文、阿拉伯文或混合脚本。

布局可以使用结构化评分:

text
composition_score =
  weighted(object_count, relative_position, text_legibility, edit_boundary)

权重是项目决策,不是通用 Benchmark。应使用已接受和已拒绝的样本校准权重,并报告评测者之间的分歧。

汇总 Checklist 时保留关键失败

下面的无第三方依赖 Go 程序汇总显式要求;即使平均分较高,只要 Required Check 失败,候选仍不通过。

go
package main

import (
	"errors"
	"fmt"
)

type Check struct {
	Name     string
	Passed   bool
	Required bool
	Weight   float64
}

func score(checks []Check) (float64, error) {
	var earned, total float64
	for _, check := range checks {
		if check.Required && !check.Passed {
			return 0, fmt.Errorf("required_check_failed:%s", check.Name)
		}
		if check.Weight <= 0 {
			return 0, errors.New("invalid_weight")
		}
		total += check.Weight
		if check.Passed {
			earned += check.Weight
		}
	}
	if total == 0 {
		return 0, errors.New("empty_checklist")
	}
	return earned / total, nil
}

func main() {
	checks := []Check{
		{Name: "exact_title", Passed: true, Required: true, Weight: 2},
		{Name: "object_count", Passed: true, Required: true, Weight: 2},
		{Name: "layout", Passed: true, Weight: 1},
		{Name: "style", Passed: false, Weight: 1},
	}
	value, err := score(checks)
	fmt.Printf("score=%.2f err=%v\n", value, err)
}

// Output: score=0.83 err=<nil>

每个 Fixture 应运行多个 Seed 或重复 API Call,并保留全部输出,包括 Moderation Block、Timeout 与畸形 Asset。分别报告每项检查通过率、所有 Required Check 同时通过率、方差与人工分歧。除非生产流程也为每个系统提供相同的尝试次数和审核成本,否则不能只挑每家最好的一张图。

编辑、安全与来源

生产流程不只有第一次生成质量。还应测试系统是否:

  • 在编辑小区域时保持主体身份和未编辑区域;
  • 在生成和编辑路径中一致地执行审核与拒答;
  • 在下载、转换和再次上传时保留或清除元数据;
  • 支持删除、访问复核和事件调查;
  • 为参考图和输出提供清晰的来源与许可证路径。

生成图片、用户参考图、检索资产和模型元数据都应视为不可信输入。授权和内容策略必须在服务边界执行,Prompt 或界面选项不是安全控制。

成本与延迟:测量完整工作流

用带日期的成本台账替代静态“单张价格表”:

text
total_cost =
  provider_or_compute
  + retries_and_failed_jobs
  + storage_and_egress
  + moderation_and_review
  + engineering_and_operations
  + hardware_amortization

每次运行记录首个结果时间、端到端延迟、吞吐、并发、排队时间、分辨率、质量设置、重试和失败类别。本地权重可以没有供应商单价,但在利用率低或人工复核多时总成本可能更高;订阅在一个工作流中便宜,也可能不适合自动化批处理。

本地、托管和 API 的取舍

部署方式 优势 必须核对
托管应用 快速探索,通常带编辑器 保留、训练使用、导出、席位、地域和自动化限制
托管 API 易自动化,有版本化请求和用量遥测 Schema 稳定性、价目表、重试、数据处理、审核和 SLA
本地或私有运行时 可控制网络路径和运行环境 权重许可证、显存、Kernel、更新、安全、能耗和支持

“开源”不能代替阅读确切的权重许可证。权重、代码、适配器、输出和训练数据可能分别适用不同条款。

把测量结果变成可审查的决策

决策记录至少应包含:

  1. 工作负载契约和代表性 Fixture 集。
  2. 固定的系统、日期、参数和失败样本。
  3. 质量、文字、编辑、安全、延迟、成本、隐私和许可证结果。
  4. 不确定性、评测器校准,以及 Prompt/种子变化的敏感性。
  5. 模型、价格、策略或合同变化时的回滚路径和重新评测触发条件。

使用“在这个文字切片上通过”“在这个并发下达到延迟目标”等条件化表述,不要在没有边界的情况下写“最佳”或“生产就绪”。

常见问题

哪个 AI 图片生成器最好?

不存在脱离场景的第一名。先定义图片类型、语言、文字准确性、编辑行为、参考图保持、安全、许可证、隐私、延迟和成本,再用相同的重复 Fixture 比较固定版本的系统。

两个公开图片 Benchmark 分数可以直接比较吗?

只有数据集、Prompt 形式、模型修订、分辨率、采样、尝试次数、后处理、评估器和不确定性方法兼容时才可以。只有相同 Benchmark 名称,不能证明数字可直接横向比较。

如何评测图片中的文字?

保留精确 Expected String,并分开评测字符正确性、行序、位置、可读性和各文字系统表现。OCR 有用但并不完美,应使用人工标签校准,并保留失败输出供复核。

图片编辑需要与首次生成分开评测吗?

需要。编辑不仅要完成目标修改,还要保持受保护主体、几何、文字和区域。还应测试多轮漂移、Mask Boundary、参考图身份、Metadata、失败恢复,以及一次编辑是否意外创建新的计费任务。

本地与托管图片生成应如何比较成本?

使用每个验收通过输出的成本,统一计入供应商或计算费用、失败尝试、重试、存储、流量、审核、人工复核、工程、支持和硬件折旧,并保持相同工作负载与利用率假设。

总结

图片模型选型最持久的能力不是记住一张榜单,而是建立一个固定版本、可重复、能暴露取舍的实验,并保护用户数据和权利。模型或合同发生变化后可以重新运行同一方法,这比未经来源支持的分数、固定价格或普适推荐更可辩护。

一手来源