DeepHPS：通过合成深度数据学习实现三维手姿与手形的端到端估计
计算机视觉与模式识别
2018-08-29 v1
摘要
关节化手姿与手形估计是基于视觉的应用（如增强现实与动画）中的一个重要问题。与现有仅优化关节位置的方法不同，我们提出一种全监督深度网络，可从单张深度图像联合估计完整的 3D 手部网格表示与姿态。为此，采用 CNN 架构估计参数化表示，即手姿、骨骼尺度与复杂形状参数。随后，嵌入我们深度框架中的一种新颖手姿与手形层生成 3D 关节位置与手部网格。缺乏具有变化手形的充足训练数据限制了基于学习方法的泛化性能。此外，手动标注真实数据并非最优。因此，我们提出 SynHand5M：一个百万规模的合成数据集，具有深度图的精确关节标注、分割掩码与网格文件。在基于模型的学习（混合）方法中，我们在我们的数据集与两个公开基准（即 NYU 与 ICVL）上展示了改进结果。并且，通过采用真实与合成数据的联合训练策略，我们以 3.7ms 从真实图像恢复 3D 手部网格与姿态。
引用
@article{arxiv.1808.09208,
title = {DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth},
author = {Jameel Malik and Ahmed Elhayek and Fabrizio Nunnari and Kiran Varanasi and Kiarash Tamaddon and Alexis Heloir and Didier Stricker},
journal= {arXiv preprint arXiv:1808.09208},
year = {2018}
}
备注
Accepted for publication in 3DV-2018 (http://3dv18.uniud.it/)