基于自我中心RGB-D传感器的遮挡下实时手部跟踪
计算机视觉与模式识别
2018-11-26 v2
摘要
我们提出一种从移动的以自我为中心RGB-D相机在杂乱真实环境中进行实时、鲁棒且准确的手部姿态估计的方法。现有方法通常对于从以自我为中心视角拍摄的杂乱场景中的手-物交互（虚拟现实或增强现实应用的常见情况）失效。我们的方法使用两个依次应用的卷积神经网络（CNN）来定位手并回归3D关节位置。手部定位通过使用一个CNN来估计输入中手中心的2D位置实现，即使在杂乱和遮挡存在的情况下。定位的手部位置与相应的输入深度值一起用于生成归一化裁剪图像，该图像被输入第二个CNN以实时回归相对的3D手部关节位置。为了增加准确性、鲁棒性和时间稳定性，我们使用运动学姿态跟踪能量来优化姿态估计。为了训练CNN，我们引入了一个新的照片级真实数据集，该数据集使用合并现实方法来捕获和合成大量杂乱场景中自然手部交互的标注数据。通过定量和定性评估，我们表明我们的方法对自遮挡和物体遮挡具有鲁棒性，特别是在移动的以自我为中心视角下。
引用
@article{arxiv.1704.02201,
title = {Real-time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor},
author = {Franziska Mueller and Dushyant Mehta and Oleksandr Sotnychenko and Srinath Sridhar and Dan Casas and Christian Theobalt},
journal= {arXiv preprint arXiv:1704.02201},
year = {2018}
}
备注
Accepted at the International Conference on Computer Vision (ICCV) 2017