World-R1 用强化学习为文本生成视频加上 3D 约束

World-R1 用强化学习为文本生成视频加上 3D 约束，解决几何不一致顽疾

日前，一项名为 World-R1 的新框架在 arXiv 上公开，它通过强化学习为文本生成视频加入了 3D 约束。这项工作的核心在于解决当前视频基础模型在视觉合成中频繁出现的几何不一致问题——简单说，就是生成的画面里物体经常“变形”或“穿模”。World-R1 的提出，算是给这个领域提供了一个挺直接的强化学习解。

现有方法为何失效？

现有的视频生成模型不是没想过要管 3D 的问题。它们通常尝试通过修改网络结构来注入 3D 先验知识，但这往往导致计算成本飙升，同时可扩展性也受限。凭什么非得改架构？World-R1 的作者换了个思路：不改模型结构，改成在训练策略上动手脚。这岂不是说，算力瓶颈有望被绕开？

强化学习如何对齐 3D 约束？

World-R1 的做法挺巧妙：它设计了一个叫 Flow-GRPO 的强化学习算法，直接用奖励信号来引导视频生成模型对齐 3D 约束。为了配合这个对齐过程，团队还专门整理了一个纯文本数据集，专门用于世界模拟任务。没错，这个数据集不依赖复杂的 3D 标注，而是通过文本描述来隐式地定义场景中的几何规则。模型在生成视频时，如果违反了这些 3D 规则，Flow-GRPO 就会给出低分，逼着它调整生成策略。

从文本到世界模拟，这一步真的关键

用纯文本数据来训练 3D 约束，这确实有点反直觉。但换个角度想，咱们平时描述场景时，本来就会自然包含几何信息——比如“一个杯子放在桌子边缘”，这本身就隐含着重力、接触面、空间关系。World-R1 做的事，就是让模型从这些文本描述里学会遵守物理世界的 3D 规则。这样一来，生成的视频不仅画面漂亮，物体之间的位置关系也保持稳定，不会出现悬空或穿插的尴尬情况。

值得关注的是，World-R1 把强化学习引入文本生成视频领域，本质上是在用“试错”代替“硬编”。模型不需要手写 3D 规则，而是通过 Reward 信号自己摸索出什么是对的。这种思路目前看来确实有潜力，它避开了传统方法在架构上的高成本改动，同时又保留了对生成结果的可控性。对于需要精确 3D 结构的场景——比如虚拟拍摄、游戏资产生成——这个框架或许能带来实质性的效率提升。