什么是 文生图?
文生图是一类把自然语言 Prompt 及可选控制条件映射为一个或多个合成图像样本的生成式 AI 任务。
快速了解
| 全称 | 文本生成图像(Text-to-Image Generation) |
|---|---|
| 创建时间 | 2021 年(DALL-E)、2022 年(Stable Diffusion、Midjourney 公开发布) |
工作原理
区分任务、架构与控制模式
Diffusion、Latent Diffusion、自回归视觉 Token、Flow Matching 与混合目标都可以实现文生图;Transformer、U-Net、Text Encoder、Autoencoder 与多模态模型是可选实现组件,不是任务定义。纯 Text-to-Image 只使用文本和系统默认值;加入 Reference Image、Mask、Pose、Depth Map、Layout 或 Identity Asset 后,就属于可控生成或图像编辑。Negative Prompt、Guidance、Token Weight 与 Style Syntax 也依赖具体模型。
绑定可复现身份并评测原子能力
记录原始与 Effective Prompt、不可变 Model / Checkpoint Revision、Encoder 或 Tokenizer、Random State、Sampler 或 Scheduler、Steps、Guidance、尺寸、Precision、Runtime、Hardware、Safety Policy、输入 Hash 与输出 Hash。Seed 不能单独保证跨这些变化得到相同像素。
对多个 Seed 逐项检查对象、数量、颜色、空间关系、属性绑定、必需缺省和按需文字渲染。近期 [Qwen-Image-Bench 研究](https://arxiv.org/html/2605.28091v1)进一步说明分层、可归因 Rubric 比单一总分更适合诊断,但其模型排名仍只适用于该 Benchmark。
分别设置质量、权利、安全与来源门禁
Visual Quality 与 Prompt Alignment 不能证明 License、Consent、事实、Privacy、Accessibility 或使用场景安全。保留完整 Prompt Suite 与全部候选,用人工标签校准自动指标或 VLM Judge,并测量 Latency、Cost、Failure Rate 与 Selection Bias。
发布前审查 Training Data 与输入权利、Impersonation、Moderation、Retention 和 Incident Response。[C2PA 规范](https://spec.c2pa.org/specifications/specifications/2.2/specs/C2PA_Specification.html)定义签名来源声明,但有效 Credential 不能证明真实、权属、同意或安全。
主要特点
- 定义文本条件图像生成任务,而不是特定 Model、Vendor 或 Diffusion 架构
- 可由 Diffusion、Latent Diffusion、自回归视觉 Token、Flow Matching 或混合目标实现
- 输出具有概率性,生成身份取决于 Effective Prompt、Model Revision、Random State、Runtime 与推理配置
- Negative Prompt、Guidance、Reference Asset、Mask 与 Adapter 等控制能力依赖具体模型,不能跨模型直接迁移
- 需要分别评测 Visual Quality、Prompt Alignment、Composition、Text Rendering、Diversity、安全、Latency 与 Cost
- 生产使用需要数据权利审查、输入隐私、内容审核、Provenance、人工批准与发布后监控
常见用途
- 根据版本化 Creative Brief 生成概念图与设计备选方案
- 生成经过品牌、权利、无障碍与人工审核门禁的营销或编辑草稿
- 创建带 Label、Provenance 与下游验证记录的合成视觉数据
- 按对象、数量、属性、空间关系、文字、偏见和不安全内容切片评测图像模型
- 构建固定制品、限制输入、保留审计记录并具备回滚门禁的可复现生图服务
示例
Loading code...常见问题
文生图和 Diffusion Model 是同一个概念吗?
不是。文生图是根据文本条件生成图像的任务,Diffusion 与 Latent Diffusion 是重要实现族,但自回归视觉 Token、Flow Matching 和混合系统也能完成同一任务。因此应把任务、模型架构、Checkpoint 与产品名称分别记录。
文生图系统如何把 Prompt 转换成图像?
系统先把 Prompt 转为条件表示,再与生成过程结合,并把生成表示解码为像素。有些系统迭代变换噪声,有些系统预测视觉 Token。Provider 还可能在返回图像前改写 Prompt、执行 Safety Policy、对候选结果排序或加入其他控制条件。
相同 Prompt 和 Seed 一定能复现同一张图吗?
不一定。Seed 只控制一部分随机性,Model 或 Checkpoint Revision、Prompt Rewrite、Text Encoder、Scheduler、Step Count、Precision、Library Version、Hardware、Kernel 与 Safety Policy 变化都可能改变结果。可复现测试必须固定完整生成身份,并在声明的容差内比较。
应该如何评测文生图质量?
使用版本化 Prompt Suite 并运行多个 Seed,分别测量 Prompt Alignment、对象、数量、颜色、空间关系、属性绑定、文字渲染、身份一致性、视觉缺陷、Diversity、安全、Latency 与 Cost。自动指标和 VLM Judge 必须用任务特定人工标签校准,不能压缩成一个通用总分。
Watermark 或 Content Credentials 能证明生成图像可信安全吗?
不能。它们可以提供来源或编辑历史信号,但不能证明事实准确、获得本人同意、版权归属明确或使用场景安全。生产系统仍需执行输入权利检查、Privacy Control、身份仿冒和滥用策略、输出审核、人工复核、Retention 与 Incident Response。