PlayerOne：自我中心世界模拟器
计算机视觉与模式识别
2025-12-11 v3
摘要
我们引入了PlayerOne，第一个自我中心真实世界模拟器，促进在生动动态环境中的沉浸式和无限制探索。给定用户提供的自我中心场景图像，PlayerOne能够准确构建对应的世界，并生成与用户通过外景相机捕获的真实场景人类运动严格对齐的自我中心视频。PlayerOne在一个粗到细的流水线中训练，首先在大规模自我中心文本-视频对上预训练以实现粗层级的自我中心理解，然后在通过我们自动构建流水线从自我中心-外景视频数据集中提取的同步运动-视频数据上进行微调。此外，考虑到不同组件的重要性各异，我们设计了一种部件解耦运动注入方案，实现对部件级运动的精确控制。此外，我们设计了一个联合重建框架，逐步建模4D场景和视频帧，确保长视频生成中的场景一致性。实验结果证明了其在精确控制变化的人类运动和多样化场景的世界一致性建模方面的强大泛化能力。它标志着自我中心真实世界模拟的首次尝试，可以为社区开辟世界建模及其多样化应用的新前沿。
引用
@article{arxiv.2506.09995,
title = {PlayerOne: Egocentric World Simulator},
author = {Yuanpeng Tu and Hao Luo and Xi Chen and Xiang Bai and Fan Wang and Hengshuang Zhao},
journal= {arXiv preprint arXiv:2506.09995},
year = {2025}
}
备注
Project page: https://playerone-hku.github.io/