利用可学习关节组进行手部姿态估计
计算机视觉与模式识别
2020-12-18 v1
摘要
在本文中，我们提出以分组方式恢复关节的三维坐标来估计三维手姿，其中关联较小的关节被自动归类到不同组并表现出不同特征。这与先前将所有关节整体考虑并共享同一特征的方法不同。我们方法的好处可由多任务学习（MTL）原理说明，即通过将关联较小的关节分离到不同组（作为不同任务），我们的方法为每组学习不同特征，从而有效避免负迁移（在关联较小的任务/关节组之间）。我们方法的关键是一个新颖的二元选择器，可自动将相关关节选入同一组。我们以从 Concrete 分布随机采样的二元值实现该选择器，该分布由可训练参数上的 Gumbel softmax 构造。这使我们能够保持整个网络的可微性质。我们进一步通过对那些关联较小的组执行额外的特征融合方案来利用其特征，以学习更具判别力的特征。这通过对拼接特征实施多个 1x1 卷积实现，其中每个关节组包含唯一的 1x1 卷积用于特征融合。详细的消融分析与在多个基准数据集上的广泛实验证明了所提方法相较最先进（SOTA）方法的有前景性能。此外，在提交日期上最新发布的 FreiHAND 竞赛中，我们的方法在所有未利用稠密三维形状标签的方法中取得第一。源代码与模型可在 https://github.com/ moranli-aca/LearnableGroups-Hand 获取。
引用
@article{arxiv.2012.09496,
title = {Exploiting Learnable Joint Groups for Hand Pose Estimation},
author = {Moran Li and Yuan Gao and Nong Sang},
journal= {arXiv preprint arXiv:2012.09496},
year = {2020}
}
备注
Accepted by AAAI2021