EgoExo-WM：解锁拟人视频用于 ego 世界模型

以主观为导向的世界模型为 enabling agents 预测和规划提供了有前景的方向，但其性能受限于主观训练数据的有限可用性以及其固有的部分可见性。相反，拟人视频丰富且能很好地揭示身体姿态，但缺乏与代理行动空间的直接对齐——且不具 ego 性。我们提出一种方法，通过从拟人视频中提取结构化身体姿态作为行动的表示，并以人类运动学先验为依据，将拟人视频转换为主观视频。这一过程解锁了将野生拟人数据用于主观世界模型训练的潜力。我们展示，使用我们转换后的数据训练全身动作条件化的主观世界模型，显著提高了预测质量和下游规划性能，其中我们推断实现视觉目标状态所需的身体姿态序列。我们的方法为利用任意野生视频构建强大的主观世界模型开辟了道路，进一步拓展了机器人规划和增强现实指导等应用。