什么是 文本生成视频(Text-to-Video)?

更新于

文本生成视频(Text-to-Video)是一类把自然语言 Prompt 及可选控制条件映射为合成帧序列的生成式 AI 任务,画面内容及其随时间发生的变化由模型联合生成。

快速了解

创建时间2022 年(早期研究),2024-2026 年(生产系统)

工作原理

把每个候选视频绑定到生成记录

保存不可变模型与 Encoder Revision、原始和 Effective Prompt、控制素材 Hash 与 License、Seed、Scheduler、Steps、Guidance、Frame Count、FPS、Duration、Resolution、Runtime、Hardware、Safety Policy、后处理和输出 Hash。针对同一个版本化 Prompt Suite 生成多个 Seed,而不是只挑一段好看的结果。供应商未暴露的字段应记录为不可用,不能伪造可复现性。该记录用于比较与调查,但不代表非确定性 Kernel 可以复现完全相同的 Pixel。

评测跨时间的内在忠实度

把单帧画质与实体、属性和关系是否随事件推进保持正确分开评估。[VBench-2.0](https://arxiv.org/html/2503.21755v2)从人物忠实度、可控性、创造性、物理和常识等维度组织 Intrinsic Faithfulness。产品门禁应把相关维度映射为可观察验收规则,例如物体数量、身份、颜色绑定、动作顺序、接触关系、Camera Path、文字可读性与音画同步,并使用多个 Seed,同时保留自动分数和人工裁决。

同时检查局部片段与完整叙事

先评测每个镜头或时序片段,再回放完整 Asset,识别累积的 Identity Drift、重复动作、状态断裂、冲突转场和叙事不连续。长视频可能通过局部帧检查,却丢失跨场景一致性;近期[长视频评测研究](https://arxiv.org/html/2510.26412v3)把多场景结构作为独立挑战。还要为重试与拼接定义失败策略,避免重复生成掩盖成本、选择偏差或连续性缺陷。

把权利、真实性与来源证明设为独立门禁

核验每项输入及预期输出用途的权利,取得肖像与声音 Consent,审查隐私和未成年人风险,审核 Prompt、素材、画面、动作、文字与音频,并为高影响发布指定人工批准人。应保存生成记录,并在可用时附加 Provenance。[C2PA 规范](https://spec.c2pa.org/specifications/specifications/2.2/specs/C2PA_Specification.html)定义用于来源证明的 Assertion 与签名 Manifest,但有效 Credential 不能证明事实真实、已经授权、拥有版权或上下文无害,这些结论必须由独立证据支持。

主要特点

  • 任务而非架构 — Diffusion、Flow Matching、离散 Visual Token、自回归与混合目标都可以实现文生视频
  • 时空联合生成 — 模型需要同时表示帧内外观与跨帧变化,而不是独立合成多张图片
  • 控制条件改变任务 — 参考素材、Mask、Keyframe、Camera Path 或源视频会形成可控生成或编辑流程
  • 控制项依赖模型 — Frame Count、FPS、Guidance、Negative Prompt、Camera 语法、Duration 与 Audio 支持都不是通用保证
  • 时序失败面 — Identity Drift、Flicker、动作顺序错误、Motion Collapse 与长时序重复可能和精美单帧同时出现
  • 媒体治理契约 — 生成身份、权利、Consent、内容审核、Provenance 与 Human Approval 都属于生产边界

常见用途

  1. 影视预可视化 — 在投入拍摄资源前探索构图、主体运动、光照与镜头语言
  2. 合成 B-roll 与概念素材 — 在不要求精确身份、真实事件或产品声明时生成可审查候选片段
  3. 广告创意原型 — 快速测试方向,同时把品牌、权利、披露与人工批准门禁放在模型之外
  4. 教育与模拟草稿 — 生成明确标注的场景示意,并单独核验事实与物理正确性
  5. 游戏与动画构思 — 在确定性制作与连续性处理前原型化环境、动作、转场或 Cutscene 节点

示例

loading...
Loading code...

常见问题

文生视频与图生视频、视频编辑有什么区别?

纯文生视频只从文本和系统默认值推导画面与运动;图生视频使用输入图片锚定视觉内容,Video-to-Video 与编辑则转换已有视频、Mask、Motion 或结构。一个产品可以同时提供这些模式,但它们的输入、可复现记录、权利核验和评测标准并不相同。

相同 Prompt 和 Seed 能复现同一段视频吗?

不能只依赖这两个字段。复现还取决于不可变的 Model 与 Tokenizer Revision、改写后的 Effective Prompt、Scheduler、Steps、Guidance、Frame Count、FPS、Resolution、Precision、Runtime、Kernel、Hardware、控制素材、后处理和 Safety Policy。即使可见配置相同,部分加速或分布式 Kernel 仍可能是非确定性的。

应该如何评测文生视频模型?

应使用版本化 Prompt Suite 与多个 Seed,分别评测视觉质量、Prompt Alignment、物体与属性绑定、动作顺序、主体和背景一致性、运动、Flicker、Camera Control、物理与常识,并在适用时检查音画同步;再加入安全、Latency、Cost、失败率与 Human Review。FVD、文本视频相似度或单个 Judge 无法覆盖全部维度。

文生视频模型能理解物理规律并保持长视频一致吗?

模型学习的是外观与运动的统计模式,不是保证正确的 Physics Simulator 或 Narrative State Machine。片段可能视觉可信,却违反 Object Permanence、Causality、Contact、人体结构或动作顺序。自回归延展与多镜头拼接会放大 Identity Drift、重复和连续性错误,因此长输出必须做分段与端到端审查。

发布 AI 生成视频前需要哪些控制?

需要核验训练与输入素材权利、肖像和声音 Consent、Privacy、Retention、未成年人保护、Impersonation 风险与使用语境;审核 Prompt、控制素材、画面、动作、文字和音频;保存 Asset Hash 与生成记录;在支持时附加 Provenance,并为高影响用途设置人工批准。C2PA 或 Watermark 记录的是信号,不代表真实、同意、版权或安全。

相关术语

相关文章

Veo 3、Sora 2 与可灵 3:AI 视频选型与评测

如何在 Veo 3.1、Sora 2 与可灵 3 之间做可靠选型?本文基于官方能力边界建立同题盲测、硬门禁与分层评分,拆解时序一致性、人物与商品保持、物理合理性、声画同步、多镜头叙事、审核失败、端到端延迟和每条可接受成片成本,并提供可运行的 Go 评测程序、发布证据契约、版权与来源治理清单,帮助团队用自己的生产工作负载得到可复现结论,而不是照搬排行榜。

2026-05-16

AI 图片模型评测:一套可复现的对比方法

用可复现实验比较 AI 图片模型,分别评测指令遵循、中文与多语言文字、布局、参考图编辑、主体保持、安全拒答、来源、许可证、隐私、延迟、故障恢复和全口径成本。本文结合 TIIF-Bench、BizGenEval、Go Checklist 聚合器、重复 Trial、强制失败项与发布证据设计,避免把单张展示图、主观星级或供应商榜单误当成通用排名。

2026-06-28

生成式 AI 核心解析:模型原理、评测体系与生产治理

系统理解生成式 AI 如何生成文本、图像、音频、视频与代码,比较自回归模型、扩散模型、GAN、VAE 的机制与适用边界;进一步学习如何按真实工作负载选型,建立任务质量、严重失败、分片表现、延迟和成本评测,并用 NIST 风险框架、C2PA 内容溯源、上线门禁、持续监控和故障回滚构建可审计、可演进的生产系统。

2026-02-21