VNect：使用单RGB摄像头的实时三维人体姿态估计
计算机视觉与模式识别
2018-11-26 v1 图形学
摘要
我们提出了第一种实时方法，使用单RGB摄像头以稳定、时间一致的方式捕捉人体的全局三维骨骼姿态。我们的方法将基于卷积神经网络(CNN)的新姿态回归器与运动学骨架拟合相结合。我们新颖的全卷积姿态公式实时联合回归2D和3D关节位置，且不需要紧密裁剪的输入帧。一种实时运动学骨架拟合方法利用CNN输出，在连贯的运动学骨架基础上产生时间稳定的三维全局姿态重建。这使得我们的方法成为首个可用于实时应用（如三维角色控制）的单目RGB方法——迄今为止，此类应用唯一的单目方法采用专用的RGB-D摄像头。我们方法的准确性在定量上与最佳的离线三维单目RGB姿态估计方法相当。我们的结果在定性上与单目RGB-D方法（如Kinect）的结果可比，且有时更优。然而，我们表明我们的方法比RGB-D方案具有更广泛的适用性，即它适用于室外场景、社区视频和低质量商用RGB摄像头。
引用
@article{arxiv.1705.01583,
title = {VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera},
author = {Dushyant Mehta and Srinath Sridhar and Oleksandr Sotnychenko and Helge Rhodin and Mohammad Shafiei and Hans-Peter Seidel and Weipeng Xu and Dan Casas and Christian Theobalt},
journal= {arXiv preprint arXiv:1705.01583},
year = {2018}
}
备注
Accepted to SIGGRAPH 2017