Matrix-Game：交互式世界基础模型

我们提出Matrix-Game，这是一个用于可控游戏世界生成的交互式世界基础模型。Matrix-Game采用两阶段训练流程：首先进行大规模无标签预训练以进行环境理解，然后进行带动作标签的训练以进行交互式视频生成。为支持此目标，我们构建了Matrix-Game-MC，一个综合性的Minecraft数据集，包含超过2700小时的无标签游戏视频片段和超过1000小时的高质量带有细粒度键盘和鼠标动作标注的标记视频片段。该模型采用可控的图像到世界生成范式，基于参考图像、动作上下文和用户动作进行条件控制。拥有超过170亿参数的Matrix-Game能够精确控制角色动作和相机运动，同时保持高视觉质量和时序一致性。为评估性能，我们开发了GameWorld Score指标体系，用于衡量Minecraft世界生成中的视觉质量、时序质量、动作可控性和物理规则理解。广泛的实验表明，Matrix-Game在所有指标上均优于先前的开源Minecraft世界模型（包括Oasis和MineWorld），在可控性和物理一致性方面尤其显著。双盲人类评估进一步确认了Matrix-Game的优势，突出其在多样化游戏情景下生成感知上真实且可精确控制的视频的能力。为促进交互式图像到世界生成领域的未来研究，我们将在https://github.com/SkyworkAI/Matrix-Game上开源Matrix-Game模型权重和GameWorld Score基准。