MineWorld：基于 Minecraft 的实时开源交互式世界模型

世界建模是使智能体有效与人类交互并在动态环境中运行的关键任务。本文提出了 MineWorld，一个基于 Minecraft 的实时交互式世界模型，而 Minecraft 是一个常被用作世界建模测试基准的开放式沙盒游戏。MineWorld 由视觉-动作自回归 Transformer 驱动，该模型以配对的游戏场景和相应动作为输入，生成跟随动作的后续新场景。具体而言，通过将视觉游戏场景和动作分别转换为离散 token id（使用图像 tokenizer 和动作 tokenizer），我们将两种类型的 id 交错拼接作为模型输入。该模型随后通过下一 token 预测进行训练，以同时学习游戏状态的丰富表征以及状态与动作之间的条件关系。在推理阶段，我们开发了一种新型的并行解码算法，同时预测每帧中的空间冗余 token，使不同规模的模型每秒可生成 4 至 7 帧，从而实现与游戏玩家的实时交互。在评估方面，我们提出了新的指标，用于评估生成新场景时的视觉质量和动作跟随能力，这对世界模型至关重要。我们的全面评估表明，MineWorld 的效果显著优于基于扩散的开源最先进世界模型。该代码和模型已公开发布。