基于正则化图表示学习的3D手部姿态估计
计算机视觉与模式识别
2021-06-04 v4
摘要
本文解决由单目 RGB 图像进行 3D 手部姿态估计的问题。尽管以往方法已取得很大成功，但手的结构尚未被充分利用，而这在姿态估计中至关重要。为此，我们在条件对抗学习框架下提出一种正则化图表示学习用于 3D 手部姿态估计，旨在捕捉手部关节的结构相互依赖关系。具体而言，我们从参数化手模型估计初始手部姿态作为手结构先验，该先验通过残差图卷积正则化先验姿态中结构形变的推断，以实现准确的图表示学习。为进一步优化手结构，我们提出两个骨骼约束损失函数，显式刻画手部姿态的可变形结构。此外，我们引入一个以输入图像为条件的对抗学习框架及多源判别器，将结构约束施加于生成的 3D 手部姿态分布上，以获得拟人有效的手部姿态。大量实验表明，我们的模型在五个标准基准上从单目图像进行 3D 手部姿态估计的任务中确立了新的 SOTA。
引用
@article{arxiv.1912.01875,
title = {3D Hand Pose Estimation via Regularized Graph Representation Learning},
author = {Yiming He and Wei Hu},
journal= {arXiv preprint arXiv:1912.01875},
year = {2021}
}