无约束单目3D手部姿态估计的端到端框架
计算机视觉与模式识别
2019-12-02 v1 机器学习
图像与视频处理
摘要
本工作解决使用单目RGB图像进行无约束3D手部姿态估计这一具有挑战性的问题。现有多数方法假设手部的一些先验知识（如手部位置与左右手信息）可用于3D手部姿态估计，这限制了其在无约束环境中的使用。因此，我们提出一种端到端框架，在仅使用关键点标注的情况下，通过学习卷积网络模型稳健预测手部先验信息并准确推断3D手部姿态。为实现稳健性，所提框架采用一种新颖的基于关键点的方法同时预测手部区域与左右手标签，不同于现有因使用分割或基于检测的技术而受背景颜色混淆影响的方法。此外，受人类手部生物结构启发，我们将两种几何约束直接引入3D坐标预测中，在弱监督训练下进一步提升性能。实验结果表明，我们所提框架不仅在无约束设定下表现稳健，而且在标准基准数据集上优于最先进方法。
引用
@article{arxiv.1911.12501,
title = {An End-to-end Framework for Unconstrained Monocular 3D Hand Pose Estimation},
author = {Sanjeev Sharma and Shaoli Huang and Dacheng Tao},
journal= {arXiv preprint arXiv:1911.12501},
year = {2019}
}