用于立体图像指尖定位的双流姿态引导区域集成网络
计算机视觉与模式识别
2019-02-27 v1
摘要
在人机交互中，准确估计手部姿态尤其是指尖十分重要。然而，传统的指尖定位方法主要依赖深度图像，因而深受噪声与缺失值影响。立体图像无需深度图像亦可提供手部三维信息并促进三维手姿态估计。但公开可用的基于立体的手姿态数据集在数据集规模、全局视角、手部关节活动度和手形方面存在局限。为缓解这些局限并推动立体图像手姿态估计的进一步研究，我们提出一个名为 THU-Bi-Hand 的新型大规模双目手姿态数据集，为指尖定位提供新视角。THU-Bi-Hand 数据集包含来自 10 名受试者的不同手形的 447k 对立体图像，带有手腕与五指指尖的精确三维位置标注。数据集在对手部运动范围限制最小的情况下采集，覆盖了较大的全局视角空间与手部关节活动空间。为更好地展现指尖定位在 THU-Bi-Hand 上的性能，我们提出一种称为双流姿态引导区域集成网络（Bi-Pose-REN）的新方案。它在先前估计姿态的引导下，在特征图中提取关节点周围更具代表性的特征区域。这些特征区域依据手部关节的拓扑结构分层集成以回归精炼的手部姿态。Bi-Pose-REN 与若干现有方法在 THU-Bi-Hand 上评估，从而为进一步研究提供基准。实验结果表明，我们的新方法在 THU-Bi-Hand 上取得了最佳性能。
引用
@article{arxiv.1902.09795,
title = {Bi-stream Pose Guided Region Ensemble Network for Fingertip Localization from Stereo Images},
author = {Guijin Wang and Cairong Zhang and Xinghao Chen and Xiangyang Ji and Jing-Hao Xue and Hang Wang},
journal= {arXiv preprint arXiv:1902.09795},
year = {2019}
}
备注
Cairong Zhang and Xinghao Chen are equally contributed