EgoGen：一个以自我为中心视角的合成数据生成器

以第一人称视角理解世界是增强现实（AR）的基础。与第三人称视角相比，这种沉浸式视角带来了剧烈的视觉变化和独特的挑战。合成数据已赋能第三人称视角视觉模型，但其在具身化自我中心感知任务中的应用仍基本未被探索。一个关键挑战在于模拟自然的人类运动和行为，以有效引导具身相机捕捉对三维世界忠实的自我中心表征。为应对这一挑战，我们引入EgoGen，一个新的合成数据生成器，可为自我中心感知任务生成准确且丰富的真值训练数据。EgoGen的核心是一个新颖的人体运动合成模型，该模型直接利用虚拟人的自我中心视觉输入来感知三维环境。结合避碰运动基元和两阶段强化学习方法，我们的运动合成模型提供了一个闭环解决方案，其中虚拟人的具身感知与运动无缝耦合。与先前工作相比，我们的模型消除了对预定义全局路径的需求，并可直接应用于动态环境。结合我们易于使用且可扩展的数据生成流水线，我们展示了EgoGen在三个任务中的有效性：头戴式相机的建图与定位、自我中心相机跟踪，以及从自我中心视角恢复人体网格。EgoGen将完全开源，为创建逼真的自我中心训练数据提供实用解决方案，并旨在成为自我中心计算机视觉研究的有用工具。请参阅我们的项目页面：https://ego-gen.github.io/。