面向手物交互下三维手姿态估计的未见视点、关节构型、形状与物体泛化能力评测
计算机视觉与模式识别
2020-09-11 v2
摘要
我们研究了不同类型的方法在单手场景及手物交互下的三维手姿态估计任务中的泛化能力。我们表明，最先进方法的精度可能下降，且其主要失败于训练集中未出现的姿态。遗憾的是，由于手姿态空间维度极高，尽管近期在收集大规模训练数据集方面做出了努力，从根本上难以稠密覆盖整个空间。当手与物体交互和/或输入为 RGB 图像而非深度图像时，该采样问题更为严重，因为 RGB 图像还随光照条件和颜色变化。为解决这些问题，我们设计了一项公开挑战赛（HANDS'19）以评估当前三维手姿态估计器（HPEs）对训练集姿态进行插值和外推的能力。更确切地说，HANDS'19 旨在（a）评估在有无物体存在下深度与彩色模态对三维手姿态估计的影响；（b）评估关于四个主要轴——形状、关节构型、视点和物体——的泛化能力；（c）探索使用合成手模型填补当前数据集的空白。通过该挑战赛，整体精度较基线大幅提升，尤其在外推任务上，平均关节误差从 27mm 降至 13mm。我们的分析凸显了以下因素的影响：数据预处理、集成方法、参数化三维手模型（MANO）的使用，以及不同的 HPE 方法/骨干网络。
引用
@article{arxiv.2003.13764,
title = {Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction},
author = {Anil Armagan and Guillermo Garcia-Hernando and Seungryul Baek and Shreyas Hampali and Mahdi Rad and Zhaohui Zhang and Shipeng Xie and MingXiu Chen and Boshen Zhang and Fu Xiong and Yang Xiao and Zhiguo Cao and Junsong Yuan and Pengfei Ren and Weiting Huang and Haifeng Sun and Marek Hrúz and Jakub Kanis and Zdeněk Krňoul and Qingfu Wan and Shile Li and Linlin Yang and Dongheui Lee and Angela Yao and Weiguo Zhou and Sijia Mei and Yunhui Liu and Adrian Spurr and Umar Iqbal and Pavlo Molchanov and Philippe Weinzaepfel and Romain Brégier and Grégory Rogez and Vincent Lepetit and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:2003.13764},
year = {2020}
}
备注
European Conference on Computer Vision (ECCV), 2020