EgoBody：基于头戴式设备的人际交互人体形状与运动数据集
计算机视觉与模式识别
2022-08-17 v3 人工智能
摘要
从自我中心视角理解社交交互对从辅助机器人到 AR/VR 的诸多应用至关重要。推理交互的关键在于从自我中心视角理解交互对象的身体姿态与运动。然而，该领域的研究因缺乏数据集而严重受阻。现有数据集在规模、采集/标注模态、真值质量或交互多样性方面存在局限。我们提出 EgoBody 这一新颖的大规模数据集以填补空白，用于从自我中心视角在复杂 3D 场景中的交互过程中估计人体姿态、形状和运动。我们使用 Microsoft HoloLens2 头显记录丰富的自我中心数据流（包括 RGB、深度、视线注视、头部与手部追踪）。为获取准确的 3D 真值，我们将头显与多 Kinect 装置标定，并将具表现力的 SMPL-X 身体网格拟合到多视角 RGB-D 帧，随时间重建相对于场景的 3D 人体形状与姿态。我们采集了 125 段序列，涵盖多样交互场景，并提出了首个从自我中心视角进行社交对象 3D 全身姿态与形状估计的基准。我们广泛评估了最先进的方法，突出了其在自我中心场景中的局限，并利用我们的高质量标注解决了这些局限。数据与代码见 https://sanweiliti.github.io/egobody/egobody.html。
引用
@article{arxiv.2112.07642,
title = {EgoBody: Human Body Shape and Motion of Interacting People from Head-Mounted Devices},
author = {Siwei Zhang and Qianli Ma and Yan Zhang and Zhiyin Qian and Taein Kwon and Marc Pollefeys and Federica Bogo and Siyu Tang},
journal= {arXiv preprint arXiv:2112.07642},
year = {2022}
}
备注
Camera ready version for ECCV 2022, appendix included