Solaris:基于 Minecraft 构建多玩家视频世界模型
计算机视觉与模式识别
2026-02-27 v2
摘要
现有的基于动作条件的视频生成模型(视频世界模型)仅限于单智能体视角,无法捕捉真实环境中多智能体相互作用。我们引入 Solaris,一种能够模拟一致多视图观察的多玩家视频世界模型。为实现这一目标,我们开发了一个为游戏如 Minecraft 设计的多玩家数据系统,以实现对视频游戏的稳健、持续和自动化数据收集。与面向单玩家环境的先前平台不同,我们的系统支持协调的多智能体相互作用和同步的视频+动作捕获。使用该系统,我们收集了 1264 万帧多玩家视频,并提出了用于评估多玩家运动、记忆、定位、建造和视角一致性的评估框架。我们采用分阶段管道,从单玩家过渡到多玩家建模,将结合双向、因果和 Self Forcing 训练。在最终阶段,我们引入 Checkpointed Self Forcing,这是一种内存高效的 Self Forcing 变体,使教师能够进行更长的时序预测。结果表明,我们的架构和训练设计优于现有基线。通过开源我们的系统和模型,我们希望为下一代多智能体世界模型奠定基础。
引用
@article{arxiv.2602.22208,
title = {Solaris: Building a Multiplayer Video World Model in Minecraft},
author = {Georgy Savva and Oscar Michel and Daohan Lu and Suppakit Waiwitlikhit and Timothy Meehan and Dhairya Mishra and Srivats Poddar and Jack Lu and Saining Xie},
journal= {arXiv preprint arXiv:2602.22208},
year = {2026}
}
备注
Project website: https://solaris-wm.github.io/