用于二维手部姿态估计的非参数结构正则化机
计算机视觉与模式识别
2020-01-27 v1 机器学习
图像与视频处理
摘要
由于手部严重的关节弯曲、自遮挡和高灵活性，手部姿态估计比身体姿态估计更具挑战性。当前方法常依赖流行的身体姿态算法（如卷积姿态机（CPM））来学习二维关键点特征。这些算法不能充分应对手部姿态估计的独特挑战，因为它们仅基于关键点位置训练，而未显式建模它们之间的结构关系。我们提出一种新颖的非参数结构正则化机（NSRM）用于二维手部姿态估计，采用级联多任务架构联合学习手部结构与关键点表示。结构学习由合成手部掩码表示引导，这些表示直接从关键点位置计算，并进一步由一种新颖的手部肢体的概率表示和受解剖学启发的掩码合成组合策略所增强。我们在两个公开数据集——OneHand 10k 和 CMU Panoptic Hand 上进行了广泛研究。实验结果表明，显式强化结构学习持续提升了 CPM 基线模型的姿态估计精度，在第一个数据集上提升 1.17%，在第二个上提升 4.01%。实现与实验代码已在线免费提供。我们提出的将结构学习引入手部姿态估计无需额外训练信息，且可作为通用附加模块用于其他姿态估计模型。
引用
@article{arxiv.2001.08869,
title = {Nonparametric Structure Regularization Machine for 2D Hand Pose Estimation},
author = {Yifei Chen and Haoyu Ma and Deying Kong and Xiangyi Yan and Jianbao Wu and Wei Fan and Xiaohui Xie},
journal= {arXiv preprint arXiv:2001.08869},
year = {2020}
}
备注
The paper has be accepted and will be presented at 2020 IEEE Winter Conference on Applications of Computer Vision (WACV). The code is freely available at https://github.com/HowieMa/NSRMhand