通过手部去遮挡与干扰去除的 3D 交互手姿态估计
计算机视觉与模式识别
2022-07-25 v1
摘要
从单张 RGB 图像估计 3D 交互手姿态对于理解人类动作至关重要。与大多数直接同时预测两只交互手 3D 姿态的已有工作不同，我们提出将这一具有挑战性的交互手姿态估计任务分解，分别估计每只手的姿态。如此便可直观利用单手姿态估计系统的最新研究进展。然而，交互场景下的手姿态估计非常困难，原因在于（1）严重的手-手遮挡与（2）由手部同质外观引起的歧义。为应对这两大挑战，我们提出了一种新颖的手部去遮挡与去除（Hand De-occlusion and Removal, HDR）框架来执行手部去遮挡与干扰物去除。我们还提出了首个大规模合成非模态手部数据集，称为非模态交互手数据集（Amodal InterHand Dataset, AIH），以促进模型训练并推动相关研究发展。实验表明，所提方法显著优于先前最先进的交互手姿态估计方法。代码与数据见 https://github.com/MengHao666/HDR。
引用
@article{arxiv.2207.11061,
title = {3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal},
author = {Hao Meng and Sheng Jin and Wentao Liu and Chen Qian and Mengxiang Lin and Wanli Ouyang and Ping Luo},
journal= {arXiv preprint arXiv:2207.11061},
year = {2022}
}
备注
ECCV2022