基于层次混合密度网络的可处理遮挡手部姿态估计
计算机视觉与模式识别
2018-05-23 v2
摘要
给定图像学习并预测三维手部模型的姿态参数(如手部关节位置)具有挑战性，原因在于大的视角变化与关节活动，以及尤其在自我中心视图中表现出的严重自遮挡。特征学习与预测建模均已被研究以应对该问题。尽管有效，大多数现有判别方法产生目标姿态的单一确定性估计。由于其单值映射本质，它们无法充分处理自遮挡问题，其中被遮挡关节呈现多种模态。本文中，我们解决自遮挡问题，并通过一种称为层次混合密度网络(HMDN)的新颖方法，给定输入深度图像提供观测姿态的完整描述。所提方法利用基于卷积神经网络的最先进手部姿态估计器以促进特征学习，同时在两级层次中对多模态建模，以调和其输出中的单值与多值映射。具有两种可微密度函数混合的整个框架天然可端到端训练。实验中，HMDN产生可解释且多样的候选样本，并在两个含遮挡的基准上显著优于最先进方法，在另一个无遮挡基准上表现相当。
引用
@article{arxiv.1711.10872,
title = {Occlusion-aware Hand Pose Estimation Using Hierarchical Mixture Density Network},
author = {Qi Ye and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:1711.10872},
year = {2018}
}