Matrix-Game 3.0：实时流式交互式世界模型与长期记忆
计算机视觉与模式识别
2026-04-14 v2
摘要
随着交互式视频生成技术的发展，扩散模型正越来越显示其作为世界模型的潜力。然而，现有方法仍难以同时实现内存化的长期时间一致性和高分辨率实时生成，限制了其在实际场景中的应用。为此，我们提出Matrix-Game 3.0——一个为720p实时长篇视频生成设计的、具备记忆功能的交互式世界模型。基于Matrix-Game 2.0，我们在数据、模型和推理方面进行了系统性改进。首先，我们开发了升级的工业级无限数据引擎，集成了基于Unreal Engine的合成数据、来自AAA游戏的大规模自动收集以及真实视频数据增强，规模生产高质量的Video-Pose-Action-Prompt四元组数据。其次，我们提出一种用于长期一致性的训练框架：通过对预测残差进行建模并在训练期重新注入不完美的生成帧，基础模型学习自我纠正；同时，摄像机感知的记忆检索和注入使基础模型能够实现长期时空一致性。最后，我们设计一种基于分布匹配蒸馏（DMD）的多段自回归蒸馏策略，结合模型量化和VAE解码器修剪，以实现高效的实时推理。实验结果表明，Matrix-Game 3.0在720p分辨率下可实现最高40 FPS的实时生成，同时在分钟长度的序列中保持稳定的记忆一致性。将其扩展至2x14B模型进一步提升了生成质量、动态性和泛化能力。我们的ethods为向工业级可部署世界模型的路径提供了实际途径。
引用
@article{arxiv.2604.08995,
title = {Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory},
author = {Zile Wang and Zexiang Liu and Jiaxing Li and Kaichen Huang and Baixin Xu and Fei Kang and Mengyin An and Peiyu Wang and Biao Jiang and Yichen Wei and Yidan Xietian and Jiangbo Pei and Liang Hu and Boyi Jiang and Hua Xue and Zidong Wang and Haofeng Sun and Wei Li and Wanli Ouyang and Xianglong He and Yang Liu and Yangguang Li and Yahui Zhou},
journal= {arXiv preprint arXiv:2604.08995},
year = {2026}
}
备注
Project page: https://matrix-game-v3.github.io/