Mo2Cap2：基于帽载鱼眼摄像头的实时移动 3D 动作捕捉
计算机视觉与模式识别
2019-01-24 v2
摘要
我们提出了一种实时方法，用于在广泛的非约束日常活动中以自我中心视角估计 3D 人体姿态。该场景具有一系列独特的挑战，例如硬件设备的移动性，以及在长时间捕捉过程中的鲁棒性和从追踪失败中的快速恢复。我们基于一种新颖的轻量级设备来解决这些挑战，该设备将一顶标准棒球帽转换为基于单个帽载鱼眼摄像头的高质量姿态估计设备。从捕捉到的自我中心实时视频流中，我们基于 CNN 的 3D 姿态估计方法在消费级 GPU 上以 60Hz 运行。除了新颖的硬件设备外，我们的其他主要贡献是：1) 一个包含俯视鱼眼图像的大型真值训练语料库，以及 2) 一种新颖的解耦 3D 姿态估计方法，该方法考虑了自我中心视角的独特性质。如我们的评估所示，与现有基线相比，我们实现了更低的 3D 关节误差以及更好的 2D 叠加效果。
引用
@article{arxiv.1803.05959,
title = {Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera},
author = {Weipeng Xu and Avishek Chatterjee and Michael Zollhoefer and Helge Rhodin and Pascal Fua and Hans-Peter Seidel and Christian Theobalt},
journal= {arXiv preprint arXiv:1803.05959},
year = {2019}
}
备注
IEEE TVCG Proc. VR 2019. Webpage: http://gvv.mpi-inf.mpg.de/projects/wxu/Mo2Cap2/