矩阵：具有实时移动控制的无限视野世界生成
人工智能
2024-12-05 v1
摘要
我们提出了矩阵，这是第一个能够在第一人称和第三人称视角下，生成连续 720p 高保真真实场景视频流并实现实时、响应式控制的基础真实世界模拟器，使智能体能够探索富有动态性的环境。该系统在 AAA 游戏（如《赛博朋克 2077》和《Forza Horizon 5》）中有限的监督数据，以及来自东京街道等真实世界环境的大规模非监督 footage 训练，允许用户在沙漠、草原、水体和城市景观中进行连续、未剪辑的小时长序列。系统以 16 FPS 运行，支持实时交互，演示零样本泛化，将虚拟游戏环境翻译到真实世界情境，其中收集连续运动数据往往不可行。例如，矩阵可以模拟一辆 BMW X3 在办公环境中的行驶——该环境既不在游戏数据中，也不在真实世界来源中。该方法展示了 AAA 游戏数据在推动稳健世界模型方面的潜力，弥合了模拟与真实世界应用之间的差距，尤其是在数据有限的场景下。
引用
@article{arxiv.2412.03568,
title = {The Matrix: Infinite-Horizon World Generation with Real-Time Moving Control},
author = {Ruili Feng and Han Zhang and Zhantao Yang and Jie Xiao and Zhilei Shu and Zhiheng Liu and Andy Zheng and Yukun Huang and Yu Liu and Hongyang Zhang},
journal= {arXiv preprint arXiv:2412.03568},
year = {2024}
}