深度数据中手部姿态恢复的端到端全局到局部 CNN 学习
计算机视觉与模式识别
2018-04-13 v2
摘要
尽管人类手部三维姿态估计近期取得进展，特别是得益于 CNN 和深度相机的出现，该任务仍远未解决。这主要是由于手指的高度非线性动力学，使得手模型训练成为一项具有挑战性的任务。在本文中，我们利用一种新颖的层次树状结构 CNN，其中分支被训练专用于预定义的手关节子集，称为局部姿态。我们进一步融合从层次 CNN 分支提取的局部姿态特征，通过端到端训练学习最终姿态中关节间的高阶依赖关系。最后，所使用的损失函数也被定义为纳入关于可行手部运动和变形的外观与物理约束。最后，我们引入一种非刚性数据增强方法来增加训练深度数据量。实验结果表明，将专用于局部姿态的树形 CNN 输入到用于建模关节相关性与依赖性的融合网络中，有助于提高最终估计的精度，在 NYU 和 SyntheticHand 数据集上优于最先进结果。
引用
@article{arxiv.1705.09606,
title = {End-to-end Global to Local CNN Learning for Hand Pose Recovery in Depth Data},
author = {Meysam Madadi and Sergio Escalera and Xavier Baro and Jordi Gonzalez},
journal= {arXiv preprint arXiv:1705.09606},
year = {2018}
}