从单张RGB图像估计三维手形与姿态
计算机视觉与模式识别
2019-04-23 v2
摘要
本工作解决一个新颖且具挑战性的问题：从单张RGB图像估计完整的3D手形与姿态。当前大多数从单目RGB图像进行3D手分析的方法仅关注估计手部关键点的3D位置，无法充分表达手的3D形状。相反，我们提出一种基于图卷积神经网络（Graph CNN）的方法来重建包含更丰富3D手形与姿态信息的完整手部表面3D网格。为以全监督训练网络，我们创建了一个包含真实3D网格与3D姿态的大规模合成数据集。当在没有3D真实标注的真实世界数据集上微调网络时，我们提出一种弱监督方法，利用深度图作为训练中的弱监督。通过对我们提出的新数据集与两个公共数据集的广泛评估，我们表明所提方法能生成准确合理的3D手网格，并且与最先进的方法相比能取得更优的3D手姿态估计精度。
引用
@article{arxiv.1903.00812,
title = {3D Hand Shape and Pose Estimation from a Single RGB Image},
author = {Liuhao Ge and Zhou Ren and Yuncheng Li and Zehao Xue and Yingying Wang and Jianfei Cai and Junsong Yuan},
journal= {arXiv preprint arXiv:1903.00812},
year = {2019}
}
备注
CVPR 2019 (Oral), project page: https://sites.google.com/site/geliuhaontu/home/cvpr2019