Matrix-game 2.0：一个开源实时流式交互世界模型
计算机视觉与模式识别
2026-04-08 v4
摘要
近期交互式视频生成的进展展示了扩散模型作为世界模型的潜力，能够捕捉复杂的物理动态和交互行为。然而，现有的交互式世界模型依赖于双向注意力和冗长的推理步骤，严重限制了实时性能。因此，它们难以模拟现实世界的动态，即结果必须基于历史上下文和当前动作即时更新。为了解决这个问题，我们提出了 Matrix-Game 2.0，一个通过少步自回归扩散实时生成长视频的交互式世界模型。我们的框架包含三个关键组件：(1) 一个可扩展的数据生产管线，用于 Unreal Engine 和 GTA5 环境，以高效地生成大量（约 1200 小时）带有丰富交互标注的视频数据；(2) 一个动作注入模块，支持帧级的鼠标和键盘输入作为交互条件；(3) 基于因果架构的少步蒸馏，用于实时流式视频生成。Matrix Game 2.0 能够以 25 FPS 的超快速度，跨多种场景生成高质量、分钟级长度的视频。我们开源了模型权重和代码库，以推动交互式世界建模的研究。
引用
@article{arxiv.2508.13009,
title = {Matrix-game 2.0: An open-source real-time and streaming interactive world model},
author = {Xianglong He and Chunli Peng and Zexiang Liu and Boyang Wang and Yifan Zhang and Qi Cui and Fei Kang and Biao Jiang and Mengyin An and Yangyang Ren and Baixin Xu and Hao-Xiang Guo and Kaixiong Gong and Size Wu and Wei Li and Xuchen Song and Yang Liu and Yangguang Li and Yahui Zhou},
journal= {arXiv preprint arXiv:2508.13009},
year = {2026}
}
备注
Project Page: https://matrix-game-v2.github.io