基于图卷积网络的三维手姿估计混合分类-回归方法
计算机视觉与模式识别
2021-05-25 v1 人工智能
摘要
手姿估计是广泛增强现实与人机交互应用中的关键部分。从单张RGB图像预测三维手姿因遮挡和深度歧义而具有挑战性。基于GCN（图卷积网络）的方法利用图与手部关节之间结构关系的相似性来建模关节间的运动学依赖。这些技术使用预定义或全局学习的关节关系，可能不足以捕捉依赖于姿态的约束。为解决此问题，我们提出一个两阶段基于GCN的框架，学习逐姿态关系约束。具体而言，第一阶段将2D/3D空间量化，根据关节的局部性将其分类到2D/3D块中。该空间依赖信息引导此阶段估计可靠的2D和3D姿态。第二阶段通过一个基于GCN的模块进一步改进三维估计，该模块使用自适应最近邻算法确定关节关系。大量实验表明，我们的多阶段GCN方法产生了高效的模型，可准确估计2D/3D手姿，并在两个公开数据集上优于当前最优方法。
引用
@article{arxiv.2105.10902,
title = {A hybrid classification-regression approach for 3D hand pose estimation using graph convolutional networks},
author = {Ikram Kourbane and Yakup Genc},
journal= {arXiv preprint arXiv:2105.10902},
year = {2021}
}
备注
18 pages, 8 figures, 6 tables, 4 Algorithms