什么是 文本生成视频(Text-to-Video)?
更新于
文本生成视频(Text-to-Video)是一类把自然语言 Prompt 及可选控制条件映射为合成帧序列的生成式 AI 任务,画面内容及其随时间发生的变化由模型联合生成。
快速了解
| 创建时间 | 2022 年(早期研究),2024-2026 年(生产系统) |
|---|
工作原理
把每个候选视频绑定到生成记录
保存不可变模型与 Encoder Revision、原始和 Effective Prompt、控制素材 Hash 与 License、Seed、Scheduler、Steps、Guidance、Frame Count、FPS、Duration、Resolution、Runtime、Hardware、Safety Policy、后处理和输出 Hash。针对同一个版本化 Prompt Suite 生成多个 Seed,而不是只挑一段好看的结果。供应商未暴露的字段应记录为不可用,不能伪造可复现性。该记录用于比较与调查,但不代表非确定性 Kernel 可以复现完全相同的 Pixel。
评测跨时间的内在忠实度
把单帧画质与实体、属性和关系是否随事件推进保持正确分开评估。[VBench-2.0](https://arxiv.org/html/2503.21755v2)从人物忠实度、可控性、创造性、物理和常识等维度组织 Intrinsic Faithfulness。产品门禁应把相关维度映射为可观察验收规则,例如物体数量、身份、颜色绑定、动作顺序、接触关系、Camera Path、文字可读性与音画同步,并使用多个 Seed,同时保留自动分数和人工裁决。
同时检查局部片段与完整叙事
先评测每个镜头或时序片段,再回放完整 Asset,识别累积的 Identity Drift、重复动作、状态断裂、冲突转场和叙事不连续。长视频可能通过局部帧检查,却丢失跨场景一致性;近期[长视频评测研究](https://arxiv.org/html/2510.26412v3)把多场景结构作为独立挑战。还要为重试与拼接定义失败策略,避免重复生成掩盖成本、选择偏差或连续性缺陷。
把权利、真实性与来源证明设为独立门禁
核验每项输入及预期输出用途的权利,取得肖像与声音 Consent,审查隐私和未成年人风险,审核 Prompt、素材、画面、动作、文字与音频,并为高影响发布指定人工批准人。应保存生成记录,并在可用时附加 Provenance。[C2PA 规范](https://spec.c2pa.org/specifications/specifications/2.2/specs/C2PA_Specification.html)定义用于来源证明的 Assertion 与签名 Manifest,但有效 Credential 不能证明事实真实、已经授权、拥有版权或上下文无害,这些结论必须由独立证据支持。
主要特点
- 任务而非架构 — Diffusion、Flow Matching、离散 Visual Token、自回归与混合目标都可以实现文生视频
- 时空联合生成 — 模型需要同时表示帧内外观与跨帧变化,而不是独立合成多张图片
- 控制条件改变任务 — 参考素材、Mask、Keyframe、Camera Path 或源视频会形成可控生成或编辑流程
- 控制项依赖模型 — Frame Count、FPS、Guidance、Negative Prompt、Camera 语法、Duration 与 Audio 支持都不是通用保证
- 时序失败面 — Identity Drift、Flicker、动作顺序错误、Motion Collapse 与长时序重复可能和精美单帧同时出现
- 媒体治理契约 — 生成身份、权利、Consent、内容审核、Provenance 与 Human Approval 都属于生产边界
常见用途
- 影视预可视化 — 在投入拍摄资源前探索构图、主体运动、光照与镜头语言
- 合成 B-roll 与概念素材 — 在不要求精确身份、真实事件或产品声明时生成可审查候选片段
- 广告创意原型 — 快速测试方向,同时把品牌、权利、披露与人工批准门禁放在模型之外
- 教育与模拟草稿 — 生成明确标注的场景示意,并单独核验事实与物理正确性
- 游戏与动画构思 — 在确定性制作与连续性处理前原型化环境、动作、转场或 Cutscene 节点
示例
Loading code...常见问题
文生视频与图生视频、视频编辑有什么区别?
纯文生视频只从文本和系统默认值推导画面与运动;图生视频使用输入图片锚定视觉内容,Video-to-Video 与编辑则转换已有视频、Mask、Motion 或结构。一个产品可以同时提供这些模式,但它们的输入、可复现记录、权利核验和评测标准并不相同。
相同 Prompt 和 Seed 能复现同一段视频吗?
不能只依赖这两个字段。复现还取决于不可变的 Model 与 Tokenizer Revision、改写后的 Effective Prompt、Scheduler、Steps、Guidance、Frame Count、FPS、Resolution、Precision、Runtime、Kernel、Hardware、控制素材、后处理和 Safety Policy。即使可见配置相同,部分加速或分布式 Kernel 仍可能是非确定性的。
应该如何评测文生视频模型?
应使用版本化 Prompt Suite 与多个 Seed,分别评测视觉质量、Prompt Alignment、物体与属性绑定、动作顺序、主体和背景一致性、运动、Flicker、Camera Control、物理与常识,并在适用时检查音画同步;再加入安全、Latency、Cost、失败率与 Human Review。FVD、文本视频相似度或单个 Judge 无法覆盖全部维度。
文生视频模型能理解物理规律并保持长视频一致吗?
模型学习的是外观与运动的统计模式,不是保证正确的 Physics Simulator 或 Narrative State Machine。片段可能视觉可信,却违反 Object Permanence、Causality、Contact、人体结构或动作顺序。自回归延展与多镜头拼接会放大 Identity Drift、重复和连续性错误,因此长输出必须做分段与端到端审查。
发布 AI 生成视频前需要哪些控制?
需要核验训练与输入素材权利、肖像和声音 Consent、Privacy、Retention、未成年人保护、Impersonation 风险与使用语境;审核 Prompt、控制素材、画面、动作、文字和音频;保存 Asset Hash 与生成记录;在支持时附加 Provenance,并为高影响用途设置人工批准。C2PA 或 Watermark 记录的是信号,不代表真实、同意、版权或安全。