xR-EgoPose：来自头显摄像机的以自我为中心的3D人体姿态
计算机视觉与模式识别
2019-07-24 v1
摘要
我们提出了一种从安装在头戴式虚拟现实设备边缘、向下看的鱼眼相机所捕获的单目图像进行以自我为中心的3D身体姿态估计的新方案。这一距用户面部仅2厘米的非常规视点导致了具有独特视觉外观的图像，其特征是严重的自身遮挡和强烈的透视畸变，从而造成上半身与下半身分辨率的巨大差异。我们的贡献有两点。首先，我们提出了一种新的编码器-解码器架构，其具有专门设计用于应对二维关节位置中变化不确定性的新颖双分支解码器。我们在合成与真实世界数据集上的定量评估表明，我们的策略相比最先进的以自我为中心姿态估计方法在精度上带来了显著提升。我们的第二个贡献是一个新的大规模照片级真实感合成数据集——xR-EgoPose——提供了383K帧高质量人体渲染，具有多样的肤色、体型、服装，在各种背景与光照条件下执行一系列动作。我们的实验表明，我们新合成训练语料库的高多样性带来了对真实世界视频的良好泛化能力，并在带有真值的真实世界数据集上取得了最先进的结果。此外，在 Human3.6M 基准上的评估显示，我们的方法性能与从第三人称视点进行3D人体姿态这一更经典问题上的顶级方法相当。
引用
@article{arxiv.1907.10045,
title = {xR-EgoPose: Egocentric 3D Human Pose from an HMD Camera},
author = {Denis Tome and Patrick Peluse and Lourdes Agapito and Hernan Badino},
journal= {arXiv preprint arXiv:1907.10045},
year = {2019}
}
备注
ICCV 2019