MVHM：用于精确三维手部姿态估计的大规模多视角手部网格基准
计算机视觉与模式识别
2020-12-08 v1
摘要
从单张RGB图像估计三维手部姿态具有挑战性，因为深度歧义导致该问题不适定。利用三维手部网格标注和多视角图像训练手部姿态估计器通常能带来显著的性能提升。然而，现有的多视角数据集规模相对较小，其手部关节由现成的跟踪器标注或通过模型预测自动生成，这两者都可能不准确并引入偏差。收集具有精确网格与关节标注的大规模多视角三维手部姿态图像很有价值但极为费力。本文中，我们设计了一种旋转匹配算法，能够使刚性网格模型与任意目标网格真值相匹配。基于该匹配算法，我们提出了一种高效流程，用于生成具有精确三维手部网格和关节标签的大规模多视角手部网格（MVHM）数据集。我们进一步提出了一种多视角手部姿态估计方法，以验证使用我们生成的数据集训练手部姿态估计器可大幅提升性能。实验结果表明，我们的方法在MHP数据集上取得了0.990的性能，而此前该数据集上的最优结果为0.939。我们的数据集已公开可用。\footnote{\url{https://github.com/Kuzphi/MVHM}} 我们的数据集可在~\href{https://github.com/Kuzphi/MVHM}{\color{blue}{https://github.com/Kuzphi/MVHM}}获取。
引用
@article{arxiv.2012.03206,
title = {MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation},
author = {Liangjian Chen and Shih-Yao Lin and Yusheng Xie and Yen-Yu Lin and Xiaohui Xie},
journal= {arXiv preprint arXiv:2012.03206},
year = {2020}
}