直接回答
**世界模型(World Model)**学习任务相关环境如何演化,常见形式是 p(z_next | z_current, action);大语言模型(LLM)通常学习 Token 的条件分布。两者描述的是建模角色,不是互斥的神经网络架构,也不是已经得到证明的两条 AGI 路线。Transformer 可以承担任一角色,同一系统也可以组合二者。真正的技术边界在状态、动作条件、规划、不确定性与闭环评测。
核心要点
- 世界模型是一种系统角色,不是一种固定架构:循环网络、状态空间模型、Transformer、扩散模型和联合嵌入预测器都可以学习环境动态。
- 预测不等于规划:模型可以预测未来,但仍需要规划器、Actor、Critic 或策略决定执行什么动作。
- 动作条件决定控制价值:只看视频学习可以形成有用表征,却不能自动证明模型理解动作干预与反事实。
- LLM 不是简单的语料查表器:它可以编码空间和时间结构,但语言流畅不代表内部状态足以支撑可靠控制。
- 发布依据必须来自闭环:画面逼真和单步损失只是诊断指标,不能替代任务成功率、安全、校准与时延。
- AGI 结论仍是研究假设:现有证据支持特定评测条件下的能力,不支持某种架构已经成为唯一答案。
世界模型究竟是什么
世界模型是对任务所需环境动态的学习型近似。它不必复刻现实中的每一个细节,也不只用于物理世界。游戏、软件工作流、市场仿真和机器人工作空间都可以成为环境,前提是模型能预测其中与决策相关的状态变化。
在部分可观测环境中,Agent 无法直接得到真实状态 s_t,只能收到图像、传感器等观测 o_t,再用历史信息维护信念状态或潜在状态 z_t。一个最小的动作条件契约可以写成:
状态更新: z_t = encode(history, o_t)
动态预测: z_(t+1) ~ p(z_(t+1) | z_t, a_t)
可选输出: reward、cost、termination、next observation
动作决策: a_t = planner_or_policy(z_t, predicted futures)
这组拆分能避免四类常见概念混淆:
- 观测不等于状态:一张相机画面可能缺少速度、遮挡物、接触力、意图或之前发生的事件。
- 动态模型不等于策略:知道执行动作后会发生什么,不等于知道哪个动作值得执行。
- 奖励不等于物理规律:状态转移可以预测准确,但任务目标仍可能遗漏约束或安全边界。
- 模拟器不等于真实环境:它始终是近似模型,规划器甚至可能主动利用其误差。
2018 年的 World Models 工作用视觉编码器、循环潜在动态模型和小型控制器展示了这种模块化结构。DreamerV3 则通过循环状态空间模型预测表示、奖励和继续信号,再在想象出的潜在轨迹上训练 Actor 与 Critic。一个容易忽略的事实是:Dreamer 部署时由 Actor 直接选动作,并不进行在线前瞻搜索;世界模型参与策略训练,却不等同于策略本身。
世界模型如何工作
可用的世界模型系统需要把观测转换为预测状态,在动作条件下滚动这一状态,再将预测交给决策机制。每个组件都有独立契约,也有独立的失败方式。
状态估计
状态估计器把当前观测和历史压缩为足够支持任务的变量。在部分可观测条件下,单张图像通常不够,表征可能还要记住物体恒常性、速度、之前的动作、隐藏目标与不确定性。
状态是否“充分”取决于任务。擅长重建像素的表征可能忽略导航所需的小型障碍;高效的控制状态也可能主动丢弃视频生成需要的纹理。不存在对所有任务都正确的统一潜在状态。
当系统允许延迟输出,并希望用有界未来观测窗口修正近期状态时,可以使用固定滞后平滑器。结果必须保留原始状态时间戳并声明 Lag;若把它当成零延迟在线估计参与评测,就会泄漏未来信息。
当动力学在已知模式集内切换时,交互式多模型估计器可以维护模式条件滤波器,并根据预测证据更新模式概率。如果只有一部分隐状态可条件处理,Rao-Blackwellized 粒子滤波可以采样困难部分,再解析积分其余状态。两者都不能创造模型组中缺失的模式,也不能修复错误的状态分解。
状态转移预测
动态模型在给定动作后预测可能的下一状态。确定性模型输出单一未来,概率模型描述多个可能未来或不确定性。无动作预测可以服务于表征学习,但面向决策的控制通常还需要交互数据或其他机制,区分“日志里后来发生了什么”与“如果采取另一个动作会怎样”。
奖励、代价与终止信号
许多基于模型的强化学习系统还会预测任务奖励和 Episode 是否继续。安全关键系统应单独建模约束或代价,不能假设奖励已经完整表达风险。机器人可以在成功到达目标的同时违反碰撞、力矩或工作区约束。
规划或策略学习
只有决策过程使用预测时,世界模型才产生行动价值。模型预测控制(MPC)可以给候选动作序列评分,只执行第一个动作后重新规划;Actor 也可以从想象轨迹中学习,以更低推理成本直接输出动作。搜索、采样、梯度优化和学习型策略在时延、计算量与稳健性上各有取舍。
三类主要世界模型
当前系统可以归入几个相互重叠的家族,而不是一个唯一标准架构。关键在于预测什么、动作如何进入模型,以及什么证据足以证明它有用。
| 模型家族 | 预测目标 | 常见决策连接 | 主要优势 | 主要限制 |
|---|---|---|---|---|
| 面向控制的潜在动态 | 下一潜在状态、奖励、继续信号 | Actor-Critic 或 MPC | 想象 Rollout 成本较低 | 潜在状态错误不易解释 |
| 预测式表征模型 | 未来或被遮挡的嵌入 | 下游预测器或动作条件规划器 | 可忽略部分不可预测像素细节 | 好表征不自动等于可控制 |
| 生成式环境模拟器 | 未来视觉或多模态观测 | 交互生成、Agent 训练或规划 | 场景丰富且便于观察 | 视觉真实可能掩盖状态与物理错误 |
潜在动态模型
Ha 与 Schmidhuber 的 World Models 以及 Dreamer 系列都先压缩观测,再在潜在空间学习动态。这比逐像素预测更适合高频 Rollout,但也产生新的评测责任:潜在状态必须保留控制需要的变量,而不只是方便重建输入。
JEPA 预测式表征
JEPA 是一种有影响力的预测架构,但不是世界模型的定义。Yann LeCun 的立场论文提出了包含多层预测模型的自主机器架构。V-JEPA 2 先从无动作视频中学习表征,再单独后训练动作条件预测器,用于机器人规划。这个阶段划分很重要:基于观测的预训练与基于动作的控制能力相关,但不是同一个能力。
生成式模拟器
生成式模型直接或在压缩视觉空间预测观测。OpenAI 的 Sora 技术报告展示了定性模拟能力,同时明确记录基础物理、物体状态变化与长视频一致性错误。Google DeepMind 把 Genie 3称为可交互世界模型,但其官方页面也列出动作空间、交互时长、多 Agent 交互和地理准确性等限制。这些结果证明生成式模拟器值得研究,却不能证明模型已经掌握完整物理规律。
世界模型 vs LLM
准确的比较对象是目标函数与系统接口,而不是两种互斥的智能。“LLM”通常指语言模型家族及其训练方式;“世界模型”则描述 Agent 或模拟器内部的预测功能。
| 维度 | 自回归 LLM | 面向决策的世界模型 |
|---|---|---|
| 主要预测目标 | 下一个 Token 或 Token 片段 | 未来状态、观测、奖励、代价或继续信号 |
| 条件输入 | Token 上下文,有时包含图像、音频与工具结果 | 状态或信念、历史,通常还包含候选动作 |
| 常见数据 | 文本、代码和多模态序列 | 观测-动作轨迹、视频、仿真与传感器日志 |
| 原生输出 | Token 概率分布 | 任务相关未来的分布或点估计 |
| 决策用途 | 语言生成、知识调用、工具调用与计划提议 | 评估未来、训练策略或支持控制 |
| 核心评测 | 任务准确率、校准、事实性与稳健性 | Rollout 保真度、动作敏感性、任务成功、安全与时延 |
| 可用架构 | 常见为 Transformer | RNN、状态空间模型、Transformer、扩散模型或混合架构 |
这张表并不意味着 LLM 内部没有世界表征。语言模型的空间与时间表征研究在部分 Llama-2 表征中发现了可解码的空间和时间结构,说明现代 LLM 并非只有浅层短语匹配。但这也不能证明这些表征已经构成可校准、动作条件明确、适合任意控制任务的模拟器。
反向的警惕同样重要。世界模型不会因为名字就自动理解因果、遵守物理规律、擅长规划或具备分布外泛化能力。它仍可能从轨迹中学习相关性、遗漏隐藏变量,或者生成看似合理但不可能发生的未来。可信的因果推断需要干预数据或明确假设,控制能力需要外部评测。
Transformer 进一步说明两类概念可以重叠。IRIS在 Atari 世界模型中使用自回归 Transformer;V-JEPA 2 同样使用 Transformer 组件学习视频表征与动作条件动态。因此,仅凭骨干网络无法判断一个系统是 LLM、世界模型、二者兼有,还是都不是。
视频逼真不等于闭环能力
逼真的视频只能证明模型能在给定 Prompt 下生成一个看起来合理的样本,不能证明它能准确预测受控动作的后果并支撑决策。缺失的证据通常会在干预时暴露。
把视频模型用于决策前,应回答五个问题:
- 状态:遮挡或长时间跨度后,任务关键变量是否仍被保留?
- 动作:只改变动作时,未来是否发生正确且可区分的变化?
- 反事实:模型能否比较日志轨迹中没有执行过的备选动作?
- 不确定性:输入或动作离开训练分布时,置信度是否合理下降?
- 控制:使用该模型后,闭环成功率是否提高,安全违规是否没有恶化?
答案取决于任务。一个模型可以适合生成游戏环境,却不适合规划机器人接触动作。3D 生成与世界模型工程进一步讨论资产与空间表征选型;本文只聚焦预测和决策契约。
生产环境中的关键失败模式
世界模型往往作为系统而失败,不只是预测器分数不够高。平均损失很低,也可能掩盖足以改变决策的危险误差。
部分可观测与状态混叠
不同真实状态可能产生相同观测。如果潜在状态把它们压成一种情况,模型会预测一个两边都不成立的平均未来。历史记忆、主动感知和不确定性感知的信念状态可以缓解问题,但是否充分仍需测试。
长程误差累积
单步误差会在想象 Rollout 中重新成为下一步输入。轻微偏差可能把模型带入训练中从未出现的潜在区域,随后快速失真。因此必须按预测跨度报告误差,不能只给一个聚合分数。
规划器利用模型漏洞
规划器会主动搜索高分轨迹,也可能找到普通验证样本很少触发的不真实状态。早期 World Models 工作已经观察到控制器利用学习环境缺陷的现象。上线前需要对抗式规划测试,并在真实环境或可信高保真模拟器中复核。
混杂因素与动作覆盖不足
离线日志中的动作来自旧策略,动作选择可能与隐藏条件相关,模型容易把相关性误当成干预结果。安全条件允许时可增加探索和随机动作,并设置留出的反事实测试,但仍不能把预测模型直接宣称为普适因果模型。
分布漂移
摄像头位置、光照、物体、操作者、动力学或策略变化都可能让状态与转移模型失效。生产系统需要同时监控输入漂移和结果退化,并在部署前定义回退行为。
目标与安全定义错误
动态预测准确也无法修复错误奖励或缺失约束。奖励、安全代价、权限和停止条件应作为独立接口审阅。对于物理 Agent,具身智能架构与安全入门进一步解释了为什么世界模型只是控制技术栈中的一层。
如何评测世界模型
评测必须把预测质量连接到模型最终支持的决策。可信协议应使用留出环境和轨迹、多随机种子、基线、置信区间与明确失败切片。
| 评测层 | 示例指标 | 回答的问题 |
|---|---|---|
| 单步预测 | 状态误差、Log Loss、校准误差 | 局部转移能否拟合留出数据? |
| 多步 Rollout | 分 Horizon 误差、物体恒常性、约束漂移 | 反复预测是否仍保持一致? |
| 动作响应 | 动作敏感性、干预准确率 | 模型是在响应动作,还是只看场景? |
| 反事实 | 备选动作排序或准确率 | 能否比较没有真实发生的未来? |
| 决策质量 | 成功率、Return、相对基线 Regret | 模型是否真的改善动作选择? |
| 安全 | 碰撞率、约束违规率、危险动作率 | 决策提升是否满足风险上限? |
| 运行成本 | P50/P95 时延、内存、能耗、回退率 | 是否满足真实控制 Deadline? |
对于生成式模拟器,像素指标仍有诊断价值,但不能主导控制系统发布。反过来,面向特定任务的潜在模型即使重建画面很差,也可能支持优秀控制。评测必须服务于产品契约。
Go 发布门禁示例
下面的无依赖 Go 程序对已经计算好的留出集指标执行发布门禁。它不负责训练或评测模型,而是防止团队只凭演示效果或单步分数批准候选版本。
package main
import (
"fmt"
"math"
"os"
)
type Metrics struct {
HoldoutTrajectories int
OneStepStateError float64
LongHorizonStateError float64
ActionSensitivity float64
CounterfactualAccuracy float64
ClosedLoopSuccess float64
BaselineSuccess float64
SafetyViolationRate float64
CalibrationError float64
P95LatencyMS float64
}
type Limits struct {
MinTrajectories int
MaxOneStepError float64
MaxLongHorizonError float64
MinActionSensitivity float64
MinCounterfactual float64
MinClosedLoopGain float64
MaxSafetyViolationRate float64
MaxCalibrationError float64
MaxP95LatencyMS float64
}
func validProbability(value float64) bool {
return !math.IsNaN(value) && !math.IsInf(value, 0) &&
value >= 0 && value <= 1
}
func evaluate(metrics Metrics, limits Limits) ([]string, error) {
probabilities := []float64{
metrics.OneStepStateError,
metrics.LongHorizonStateError,
metrics.ActionSensitivity,
metrics.CounterfactualAccuracy,
metrics.ClosedLoopSuccess,
metrics.BaselineSuccess,
metrics.SafetyViolationRate,
metrics.CalibrationError,
}
for _, value := range probabilities {
if !validProbability(value) {
return nil, fmt.Errorf("invalid normalized metric: %v", value)
}
}
if metrics.P95LatencyMS < 0 ||
math.IsNaN(metrics.P95LatencyMS) ||
math.IsInf(metrics.P95LatencyMS, 0) {
return nil, fmt.Errorf("invalid latency: %v", metrics.P95LatencyMS)
}
var failures []string
checks := []struct {
ok bool
message string
}{
{metrics.HoldoutTrajectories >= limits.MinTrajectories, "insufficient holdout trajectories"},
{metrics.OneStepStateError <= limits.MaxOneStepError, "one-step state error exceeds limit"},
{metrics.LongHorizonStateError <= limits.MaxLongHorizonError, "long-horizon state error exceeds limit"},
{metrics.ActionSensitivity >= limits.MinActionSensitivity, "action sensitivity is too low"},
{metrics.CounterfactualAccuracy >= limits.MinCounterfactual, "counterfactual accuracy is too low"},
{metrics.ClosedLoopSuccess-metrics.BaselineSuccess >= limits.MinClosedLoopGain, "closed-loop gain is too small"},
{metrics.SafetyViolationRate <= limits.MaxSafetyViolationRate, "safety violation rate exceeds limit"},
{metrics.CalibrationError <= limits.MaxCalibrationError, "calibration error exceeds limit"},
{metrics.P95LatencyMS <= limits.MaxP95LatencyMS, "P95 latency exceeds control budget"},
}
for _, check := range checks {
if !check.ok {
failures = append(failures, check.message)
}
}
return failures, nil
}
func main() {
metrics := Metrics{
HoldoutTrajectories: 1800,
OneStepStateError: 0.07,
LongHorizonStateError: 0.18,
ActionSensitivity: 0.82,
CounterfactualAccuracy: 0.79,
ClosedLoopSuccess: 0.81,
BaselineSuccess: 0.74,
SafetyViolationRate: 0.006,
CalibrationError: 0.03,
P95LatencyMS: 38,
}
limits := Limits{
MinTrajectories: 1000,
MaxOneStepError: 0.10,
MaxLongHorizonError: 0.20,
MinActionSensitivity: 0.75,
MinCounterfactual: 0.75,
MinClosedLoopGain: 0.03,
MaxSafetyViolationRate: 0.01,
MaxCalibrationError: 0.05,
MaxP95LatencyMS: 50,
}
failures, err := evaluate(metrics, limits)
if err != nil {
fmt.Fprintln(os.Stderr, err)
os.Exit(2)
}
if len(failures) > 0 {
for _, failure := range failures {
fmt.Println("BLOCK:", failure)
}
os.Exit(1)
}
fmt.Println("release=approved")
}
预期输出:
release=approved
这些阈值只是演示,不是行业通用标准。仓储机器人、游戏模拟器和推荐策略的后果与时延预算完全不同。团队应在查看候选结果前确定阈值,与不使用世界模型的基线比较,并保留失败切片,不能用平均值把它们抹平。
如何选择架构
当产品需要在执行前比较动作、从昂贵交互中学习、模拟任务相关未来,或用想象经验训练策略时,世界模型才可能带来价值。不要仅因为概念热门就引入它。
- 写清环境契约:列出观测、隐藏状态假设、动作、预测跨度、目标、约束与控制 Deadline。
- 建立可比较基线:使用反应式策略、无模型方法、固定模拟器,或 LLM 加工具方案作为对照。
- 选择预测目标:高效控制可用潜在状态;空间约束重要时保留显式几何;需要人工或下游感知检查时再生成观测。
- 区分模型错误与决策错误:条件允许时,在相同状态上用真实模拟器回放,判断失败来自动态、奖励、规划器还是控制器。
- 设计回退路径:分布外检测、不确定性阈值、保守动作和人工接管都属于运行时架构。
- 以闭环证据发布:要求候选版本在同分布、同安全约束下优于基线。
这套方法也能澄清混合系统的职责。LLM 可以解析用户目标、检索程序性知识或提出高层子目标;世界模型预测动作后果;规划器完成选择;确定性安全层拒绝危险命令。这些模块可以共享 Transformer 骨干,也可以部署为独立服务,但责任边界仍应明确。
常见误区
世界模型会自动学到因果
模型只会从给定数据与目标中学习预测规律。因果结论还需要干预、可识别性假设或专门实验设计,不能由“世界模型”这个名称直接推出。
LLM 没有任何世界知识
LLM 可以编码大量事实、空间、时间和程序性结构。它在某个控制任务上的不足应通过该任务验证,不能仅由 next-token 目标推断。
JEPA 是世界模型的标准定义
JEPA 是预测式表征的一条重要路线。Dreamer 式潜在动态、Transformer 模拟器、显式状态空间模型和生成式环境模型同样属于合理设计。
视频越逼真,规划越准确
感知质量可能有帮助,但规划器需要正确的动作效果、稳定的任务状态、可校准的不确定性和可接受时延。这些属性必须单独测试。
世界模型就是 AGI 路线图
世界模型是一种组件或能力。它对 AGI 是否必要、是否充分仍无定论,而 AGI 本身也没有一个统一接受的操作性测试。
常见问题
AI 中的世界模型是什么
世界模型是环境动态的学习型预测模型。它把当前观测或潜在状态、历史,以及可选动作映射到可能的未来状态或观测,也可以预测奖励、安全代价和终止信号。独立的规划器或策略再利用这些预测选择行为。
世界模型和大语言模型有什么区别
LLM 通常优化 Token 预测,面向决策的世界模型则优化动作条件下的任务相关状态转移预测。边界主要在功能而不在架构:两者都可以使用 Transformer、都可以处理多模态,同一模型也可以承担两种角色,但需要分别满足对应接口和评测。
LLM 内部能形成世界模型吗
LLM 可以形成类似世界模型一部分的表征,也可以在包含状态和动作 Token 的轨迹上训练。但部署前仍要验证它是否保留隐藏状态、正确响应干预、在长程 Rollout 中保持校准,并真正改善闭环决策。
Sora 等视频生成模型算世界模型吗
当视频模型能够预测连贯的环境演化时,可以把它描述为通用模拟器,但这个标签不能证明决策能力。Sora 官方报告明确记录了物理和长程一致性失败。控制场景还需要动作条件、反事实、闭环、安全和时延证据。
世界模型会取代 LLM 吗
默认假设不应是互相取代。语言理解、环境预测、规划、策略执行与安全是可拆分的职责。系统可以组合专用模块,也可以训练共享模型,但每项职责仍需要独立证据和失效控制。
总结
世界模型 vs LLM 不是“真正理解”与“只会预测”之间的简单竞争。LLM 通常建模 Token 分布;世界模型建模任务相关环境如何演化,并经常引入动作条件。两者可以使用相同神经网络架构、学习相互重叠的表征,也可以共同组成一个 Agent。
真正可验证的技术边界来自工程契约:明确状态、动作、预测跨度、奖励、安全、不确定性、规划器与运行时限制;再用单步预测、长程漂移、干预、反事实、闭环任务结果、安全与时延和基线比较。只有这些证据能说明世界模型在系统中的价值,视觉逼真或 AGI 叙事不能。
相关资源
资料与延伸阅读
- David Ha、Jürgen Schmidhuber:World Models
- Danijar Hafner 等:Mastering Diverse Control Tasks through World Models
- Mahmoud Assran 等:V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
- Yann LeCun:A Path Towards Autonomous Machine Intelligence
- OpenAI:Video Generation Models as World Simulators
- Google DeepMind:Genie 3: A New Frontier for World Models
- Wes Gurnee、Max Tegmark:Language Models Represent Space and Time
- Xinqing Li 等:A Comprehensive Survey on World Models for Embodied AI