MagicWorld: 面向交互式视频世界探索的长期稳定性

最近的交互式视频世界模型方法会根据用户指令生成场景演化。尽管它们取得了令人印象深刻的成果，但仍存在两个关键局限性。首先，在具有多个相互作用主体的复杂环境中，它们 exhibits 运动漂移，动态主体在场景演化期间未能遵循真实的运动模式。其次，它们在长期交互中存在误差积累，其中自回归生成逐渐偏离早期场景状态，导致结构和语义不一致。本文提出了MagicWorld，一个基于自回归框架构建的交互式视频世界模型。为解决运动漂移问题，我们引入了基于流动的运动保持约束，以缓解动态主体的运动退化，鼓励真实的运动模式和稳定的交互。为缓解长期交互中的误差积累，我们设计了两种互补策略，包括历史缓存检索策略和增强的交互训练策略。前者通过检索交互期间的过往生成来强化历史场景状态，而后者采用双奖励加权的多shot聚合蒸馏进行交互训练，增强长期稳定性并减少误差积累。此外，我们构建了RealWM120K，一个包含多样化城市漫步视频和多模态注释的数据集，以支持动态感知和长期世界建模。实验结果表明，MagicWorld在长期交互期间改进了运动真实性并缓解了误差积累。