核心摘要

3D 生成和世界模型正在融合，但两者不是一回事。3D 生成产出资产或场景表征，例如 Mesh、NeRF、Gaussian Splat、点云和纹理；“世界模型”也不是一个已经统一的架构名称。本文将它限定为：根据历史、动作或镜头运动预测或生成未来观测、状态的模型。生产级空间 AI 系统可能同时需要两者：3D 生成用于内容创建，预测模型用于仿真、机器人、游戏、数字孪生和具身智能。本文从工程角度拆解空间模拟器、空间智能、3D 表征、评估指标和系统架构，不把研究演示直接等同于可部署仿真器。

目录

核心要点

  • 3D 生成创建资产，世界模型模拟变化：后者关注物理、动作和未来状态预测。
  • Gaussian Splatting 常是捕捉场景实时查看的有力方案，Mesh 通常更容易编辑并接入物理引擎。
  • Sora 类模型可能呈现世界模型式行为，但生产模拟器还需要显式可控性和干预评估。
  • 空间 AI Pipeline 是多模态系统：图像、视频、深度、相机位姿、文本 Prompt 和 3D 表征必须对齐。
  • 评估必须多视角和时序化，不能只看一张漂亮渲染图。

3D 生成 vs 世界模型

3D 生成和世界模型经常一起讨论，因为它们都要求空间一致性。但它们解决的问题不同。

能力 3D 生成 世界模型
主要输出 Mesh、NeRF、Splat、点云、纹理 未来状态预测或仿真
主要输入 文本、图片、多视角图像 视频、动作、状态、观测
核心难点 几何与外观一致性 动态、因果、物理合理性
适合场景 游戏资产、电商、AR、数字孪生 机器人、规划、仿真、具身 Agent
评估方式 几何准确率、渲染质量、可编辑性 时序一致性、动作预测、干预响应

已有文章 World Models vs LLMs 讨论了世界模型与 LLM 的 AGI 路线差异。本文聚焦生产空间 AI 工程。

2026 年空间 AI 技术栈

现代空间 AI 系统通常包含五层：

  1. 采集：图片、视频、深度图、LiDAR、相机位姿。
  2. 表征：Mesh、NeRF、Gaussian Splat、Voxel、Occupancy Field。
  3. 生成：文生 3D、图生 3D、视频转 3D、场景补全。
  4. 仿真：时序预测、物理动态、动作条件 Rollout。
  5. 服务：Web 预览、游戏引擎导出、机器人仿真器、AR Runtime。
flowchart LR A["图片 / 视频 / 深度"] --> B["相机位姿 + 预处理"] B --> C{"3D 表征"} C -->|"实时"| D["Gaussian Splatting"] C -->|"可编辑"| E["Mesh"] C -->|"新视角"| F["NeRF"] D --> G["渲染器 / 仿真器"] E --> G F --> G G --> H["世界模型 Rollout"]

NeRF、Gaussian Splatting 与 Mesh

不同 3D 表征有不同工程适用点。

表征 优势 局限 适合场景
NeRF 连续场景表征和新视角合成 训练/渲染成本与编辑难度取决于实现 照片级场景重建
Gaussian Splatting 适合许多捕捉场景的快速视角渲染 编辑、透明材质和物理集成较难 交互式场景查看器
Mesh 可编辑、引擎友好 清洁拓扑生成难 游戏、CAD、机器人
点云 简单、贴近传感器 稀疏、视觉质量弱 机器人和地图
Voxel/Occupancy 利于推理和碰撞 内存开销大 仿真和规划

生产选型应看下游用途，并在目标 Runtime 中验证结果。如果用户只需要在浏览器里环视扫描房间，Gaussian Splatting 可能合适，但仍需检查覆盖范围、视角相关伪影、设备性能和许可证；如果需要碰撞、绑定或物理，通常还要准备 Mesh 或额外碰撞表征，可渲染的 Splat 不能替代它们。

Sora 式视频世界模型

Sora 式视频模型之所以值得研究，是因为它们能从数据中学习空间与时序观测的统计规律。部分提示词和片段会呈现物体持久性、镜头运动或类物理行为，但这并不证明模型具备度量级 3D 重建、因果理解或可靠的长时程控制能力。

但生成式视频模型不自动等于可控世界模型。生产世界模型还需要：

  • 显式状态表示。
  • 动作条件。
  • 可控镜头和物体运动。
  • 干预下的一致 Rollout。
  • 可测量预测误差。
  • 与规划或仿真循环集成。
flowchart TD A["当前观测"] --> B["潜在世界状态"] C["动作或镜头命令"] --> B B --> D["未来状态预测"] D --> E["渲染帧"] D --> F["规划信号"]

World Labs 与空间智能

“空间智能”被多个研究和产品方向用来描述对 3D 结构、物体持久性和环境中运动的推理能力。工程含义是：在任务确实需要时，图片和视频不应只被当作像素，而应提升为场景图、几何、对象和状态，同时保留不确定性与来源信息，不能静默地把估计值当成精确测量。

下面是示意用的 fixture 数据，并非 World Labs 或其他厂商的实测结果：

关键中间产物可以这样表示：

json 
{
  "sceneId": "scene_042",
  "objects": [
    {"id": "chair_1", "class": "chair", "pose": [1.2, 0.0, 2.4], "confidence": 0.91}
  ],
  "camera": {"fx": 1150, "fy": 1150, "pose": "cam_pose_009"},
  "representation": {"type": "gaussian_splat", "asset": "s3://scene/splat.ply"}
}

当场景被结构化后，Agent 才能推理导航、遮挡、物体持久性和动作后果；但置信度必须在留出数据上校准，下游动作仍需经过授权和安全检查。

参考架构

flowchart TD A["用户 Prompt 或采集场景"] --> B["输入校验器"] B --> C["表征路由器"] C -->|"资产生成"| D["Text/Image-to-3D 模型"] C -->|"场景捕捉"| E["Gaussian Splatting 构建器"] C -->|"仿真"| F["世界模型"] D --> G["资产校验器"] E --> G F --> H["时序评估器"] G --> I["资产注册表"] H --> I I --> J["Web / 游戏引擎 / 机器人仿真器"]

每个生成资产都应进入注册表，记录 Prompt、源媒体、模型版本、表征类型、坐标系、物理单位、许可证/来源、质量分数、保留策略和下游兼容性。扫描得到的房间、人物和带地理位置的环境可能包含敏感信息，应设计访问控制、同意、删除和导出限制。

评估指标

3D 与世界模型评估必须是多维的：

指标 衡量内容
多视角一致性 同一对象在不同角度下是否一致
Chamfer Distance 在明确对齐和采样协议后的几何距离
F-score 在给定距离阈值下的精确率/召回率权衡
渲染质量 感知图像质量，不能代表完整几何质量
时序一致性 物体身份和运动稳定性
动作预测误差 状态变化是否符合动作命令
可编辑性 是否能进入下游工具
物理合理性 碰撞、重力、物体持久性

不要只用一张渲染图评估 3D 生成。单视角漂亮可能掩盖破碎几何。应报告数据集划分、相机覆盖、对齐方式、阈值、不确定性，以及适用时的置信区间。世界模型还要区分开放环预测误差和闭环 Rollout 漂移：单步误差很小，也可能在连续动作后累积。评估应包含留出轨迹和干预测试，不能只依赖挑选出来的 Prompt 示例。

实现模式

资产清单应显式记录：

typescript 
interface SpatialAssetManifest {
  assetId: string;
  representation: "mesh" | "nerf" | "gaussian_splat" | "point_cloud";
  sourceType: "text" | "image" | "video" | "scan";
  modelVersion: string;
  coordinateSystem: "x_up" | "y_up" | "z_up";
  units: "meter" | "centimeter" | "unknown";
  transformToWorld: number[];
  files: Array<{ type: string; url: string }>;
  quality: {
    multiViewConsistency: number;
    renderScore: number;
    physicsReady: boolean;
  };
}

这个清单能让下游服务、审计和重处理更稳定。

最佳实践

  1. 按下游用途选择表征，不要只追逐 benchmark。
  2. 保存相机位姿、坐标系、单位和变换矩阵，3D Bug 很多来自约定不一致。
  3. 多视角评估后再接受资产。
  4. 架构上分离资产生成与世界仿真。
  5. 保留源媒体、模型版本、评估划分和来源信息，便于复现和版权审查。
  6. 像保护生产数据一样保护空间数据：采用最小权限、保留期限、同意校验和删除流程。

常见问题

3D 生成和世界模型有什么区别？

3D 生成创建 Mesh、Splat 或 NeRF 等空间资产；世界模型预测场景如何在动作、物理和镜头运动下随时间变化。

Sora 是真正的世界模型吗？

Sora 展示了世界模型式能力，例如视频一致性和类物理生成，但生产级世界模型还需要可控状态、动作条件和干预评估。

什么时候用 NeRF、Gaussian Splatting 或 Mesh？

NeRF 适合高质量新视角合成，Gaussian Splatting 适合实时场景查看，Mesh 适合需要编辑、物理碰撞和游戏引擎集成的场景。

如何评估 3D 生成质量？

应评估多视角一致性、几何准确率、渲染质量、可编辑性、物理可用性和时序一致性。世界模型还要评估动作条件预测误差。

为什么 3D 资产预览好看但生产不可用？

因为单个预览可能隐藏破碎拓扑、比例错误、UV 问题、缺少碰撞体或坐标系不一致。必须在目标 Runtime 中验证。

总结

3D 生成和预测型世界模型是空间 AI 的互补能力。用 3D 生成创建资产；只有在状态、动作和不确定性契约明确时才把世界模型用于仿真；再通过资产清单、评估、授权和下游 Runtime 测试把两者连接起来。工程重点不是演示是否看起来有空间感，而是系统能否在产品真正关心的干预下保持可测量、可控制、尊重权利并产生有用结果。

相关资源

资料与延伸阅读