表示世界
记住物体、空间关系与隐含状态。表示可以是三维结构，也可以是难以直接解释的潜在向量。
WORLD MODELS 概念与技术路线
理解世界模型从预测，到可交互世界。
如果我采取一个行动，世界接下来会怎样？
从这个问题出发，厘清动力学预测、空间生成与神经渲染之间的关系。
↔ 横向滑动查看完整图解
01 / 基本概念
从“这是什么”，到“接下来会怎样”
识别模型可以认出桌上的杯子。世界模型更关心：推一下杯子会移动多远？会不会翻倒？如果先扶正再推，结果是否不同？它尝试建立环境的内部表示，并预测环境如何演化，尤其是行动会带来什么后果。
核心能力：根据当前信息和行动，预测有意义的未来变化。
预测变化
把动作作为条件，预测下一步状态。对随机或不确定环境，预测的应是多种可能结果。
支持行动
在模型中推演不同选择，比较风险与回报。模拟有助于规划，也能用于训练策略。
展开：最小数学表达
s 是内部状态，a 是动作，θ 是学习得到的参数。模型还可以从状态生成观测、预测奖励或终止条件。真实状态未必可直接观察，因此内部状态通常要从观测历史估计。
生成画面是其中一个可选环节。服务于决策的模型，可以主要在潜在空间里推演。
以 DreamerV3 为例：通过学习环境模型，在想象轨迹中训练策略。研究论文 ↗
02 / 领域地图
同一个名字，四种研究重心
“世界模型”覆盖了相互关联、目标却不完全相同的方向。下面按主要任务划分，便于理解；它们并非互斥类别，也不是能力等级。
A
潜在动力学与策略学习
学会预测，帮助智能体做决策在紧凑状态中想象行动后果，再训练策略或进行规划。画面是否逼真并非首要目标。
B
生成式交互世界
随用户行动，生成新的观察结果将用户控制输入纳入生成过程，形成可以探索的环境。长期记忆、动作控制与物理可信度仍是难点。
C
结构化空间与动态资产生成
生成可复用、可编辑的三维内容用显式空间表示组织角色、动作与场景。拥有三维结构，并不能直接证明模型学会了通用物理规律。
D
物理理解与具身预测
从视频经验走向真实环境中的行动学习有助于理解和预测的视觉特征；再通过动作条件训练连接机器人控制。抽象特征预测无需合成完整 RGB 画面。
视频模型与世界模型有交集，但不能直接画等号。
漂亮的视频体现视觉生成能力；可靠的行动预测还需要检验状态、动作响应与多步一致性。传统游戏引擎也是世界模拟器，只是其规则通常由开发者编写。
03 / 架构对照
世界状态、变化与画面，分别由谁负责？
Matrix-Game 4.0 为什么看起来更像游戏画质增强？因为它把游戏逻辑、物理和输入交给引擎，让因果视频模型负责视觉生成。官方架构 ↗ 对比下面三种分工，区别会更直观。
先想象状态，再改善行动
以 DreamerV3 为例04 / 评价尺度
能演示一个世界，离可靠模拟还有多远？
一段流畅的演示无法回答所有问题。真正用于长期交互和决策时，模型还需要经受这些检验。
状态持久性
把杯子移到另一个房间，离开再回来，它还在原位吗？历史上下文不天然等于持久数据库。
行动与物理一致性
轻推、重推、倾斜桌面，后果是否合理且有区别？看起来合理还需要与可验证的行动结果对照。
长期误差
单步预测准确，连续推演仍可能偏离。要观察模型在多少步之后失去稳定性。
控制与可验证性
要求角色移动一米，能否精确执行？碰撞、身份与规则，是否能够稳定地复现和检查？
计算与使用成本
模拟一秒钟需要多少计算？高画质、交互延迟、模拟吞吐和部署成本，是不同指标。
读新项目时，先问三句
谁维护状态？
谁计算状态转移？
输出是特征、三维资产，还是视频？
例如 Genie 3 官方仍列出动作空间、多智能体交互和连续交互时长等限制。官方说明 ↗
05 / 附篇 · 表示与渲染
高斯渲染：让三维基元组成画面
世界模型讨论“世界如何表示和变化”；Gaussian Splatting 主要回答“已有三维表示如何变成图像”。它是一种表示与渲染方法，本身不提供世界动力学。
一个 Gaussian 是什么？
可以把它想成三维空间中的柔软椭球，带有位置、尺度、方向、不透明度与颜色参数。许多椭球叠加，近似描述场景的外观。
它不是一个像素：一个基元投影到屏幕上，通常会覆盖多个像素。
交互图解
同一组基元，两种观察方式
拖动动作：更新基元的位置。拖动相机：重新投影同一份三维资产。此图用二维柔和椭圆近似演示，不是完整的 3DGS 渲染器。
渲染一帧，主要发生三件事
三维椭球 → 二维椭圆
根据相机求屏幕位置和覆盖范围；颜色也可以随观察方向变化。
分桶与深度排序
确定哪些基元影响哪些像素，并安排混合次序。
叠加颜色与透明度
前方基元遮住一部分光，剩余透射率决定后方基元的贡献。
静态 3DGS 的核心方法见 3D Gaussian Splatting 原始论文 ↗。具体实现对可见性与排序有不同近似。
“动态”从哪里来？
让基元的位置、方向或尺度随时间和姿态变化，就能渲染运动。动态 Gaussian 是宽泛概念；不同 4DGS 方法的参数化并不相同。下面是用于理解系统的三种常见设计思路，并非 JST-2 的已公开实现清单。
| 驱动方式 | 每帧做什么 | 主要取舍 |
|---|---|---|
| 骨骼驱动 | 根据骨骼变换与绑定权重更新基元 | 动作可复用；衣物等局部形变需补偿 |
| 神经形变 | 输入时间或姿态，预测参数变化 | 表达非刚性运动；增加网络计算 |
| 预计算动态片段 | 读取、解码或插值已保存的数据 | 计算可简化；存储与动作编辑受限制 |
资产准备 · 一次或按需
生成 / 重建 / 拟合
输入图片、视频或文字，得到可保存的空间资产，以及动作、绑定或形变信息。
运行时 · 每帧
动作采样 → 形变 → Splat 渲染
加载资产，更新当前姿态，再按相机投影与混合。是否运行神经网络，取决于形变和解码设计。
离线生成不等于每个资产都要重新训练；实时渲染也不等于计算免费。
资产可能由预训练模型直接生成，也可能经场景专用优化。渲染仍受基元数量、屏幕覆盖、排序和透明度叠加影响，不能直接断言比 Mesh 更便宜。
06 / 从渲染到生成
转动相机，与扩展世界，是两件事
在已有资产内换一个视角，是重新渲染。要看到原资产没有描述的街区，则需要补充内容；如果没有额外真实观测，这些内容属于模型生成的假设。
生成初始场景→指定新相机位姿→生成新视角图像→重建并更新资产
Viggle 公开了场景生成、新视角生成与重建的工作流，并以异步任务执行。这里的“实时扩展”更适合理解为交互式、按需补充场景，不能直接等同于每帧产生全新三维区域。开发者文档 ↗
扩展时，原来的世界会不会被改掉？
两种可能的实现都可以支持类似体验：局部追加新基元，或用更新后的图像重新重建场景。公开接口能证明工作流存在，不能单独证明内部采用哪一种实现。
评价时应继续检验：新旧边界是否连续？已有建筑是否保持？走远再返回时，物体身份与交互状态是否持久？这些比一次生成速度更能说明系统是否可靠。
07 / 延伸阅读
带着问题，回到原始资料
按阅读路径排列。产品能力随版本变化；本页重点解释计算分工，不汇总硬件帧率或宣传数字。
- DreamerV3 · Mastering diverse control tasks through world modelsNature · 2025 ↗
理解“在想象中训练策略”，以及为什么世界模型可以不以画质为目标。
- V-JEPA 2 · Understanding, Prediction and PlanningMeta · 2025 ↗
区分视频特征预测与动作条件预测，了解从观察走向机器人规划的路径。
- Genie 3 · A new frontier for world modelsGoogle DeepMind · 2025 ↗
看生成式交互世界的能力演示，也阅读官方列出的限制。
- JST-2 Character / Motion / APIViggle · 2026 ↗
- Matrix-Game 4.0 · Streaming Neural RenderingSkywork AI · 2026 ↗
检查游戏引擎与视频模型的接口，以及世界状态的权威来源。
- 3D Gaussian Splatting for Real-Time Radiance Field RenderingSIGGRAPH · 2023 ↗
从三维高斯表示、可微优化和快速渲染理解 3DGS 的基本构成。
一个阅读线索
先问世界如何变化，
再问我们如何看见它。