SelfPose:基于头戴式摄像机的第一人称 3D 姿态估计
计算机视觉与模式识别
2020-11-04 v1
摘要
我们提出了一种从安装在头戴 VR 设备边缘、朝向下方的鱼眼摄像机所采集的单目图像中进行第一人称 3D 身体姿态估计的方案。这一不寻常的视角导致图像具有独特的视觉外观,伴有严重的自遮挡和透视畸变,从而造成上半身与下半身分辨率的剧烈差异。我们提出了一种编码器-解码器架构,其具有新颖的多分支解码器,旨在应对 2D 预测中变化的不确定性。在合成和真实世界数据集上的定量评估表明,我们的策略在精度上相较最先进的第一人称方法取得了显著提升。为应对标注数据匮乏的问题,我们还引入了一个大型照片级真实感合成数据集。xR-EgoPose 提供了具有多样肤色、体型与衣着、执行多种动作人物的高质量渲染。我们的实验表明,新合成训练语料中的高多样性带来了对真实世界视频的良好泛化能力,并在带真值的真实世界数据集上取得了最先进的结果。此外,在 Human3.6M 基准上的评估显示,我们的方法在更经典的第三人称视角 3D 人体姿态问题上与顶尖方法表现相当。
引用
@article{arxiv.2011.01519,
title = {SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera},
author = {Denis Tome and Thiemo Alldieck and Patrick Peluse and Gerard Pons-Moll and Lourdes Agapito and Hernan Badino and Fernando De la Torre},
journal= {arXiv preprint arXiv:2011.01519},
year = {2020}
}
备注
14 pages. arXiv admin note: substantial text overlap with arXiv:1907.10045