基于注意力引导图卷积的协同学习手与物体重建
计算机视觉与模式识别
2022-04-28 v1
摘要
估计交互作用下的手与物体的姿态和形状在增强现实和虚拟现实等领域有着大量应用。现有的手与物体重建方法需要显式定义的物理约束和已知物体，这限制了其应用领域。我们的算法对物体模型是不可知的，并且能够学习支配手-物体交互的物理规则。这需要自动推断手的形状和物理交互以及（潜在未知的）物体的形状和物理交互。我们试图通过提出一种协同学习策略来解决这一具有挑战性的问题，其中深度网络的两个分支相互学习。具体而言，我们将手部网格信息传递给物体分支，反之亦然，将物体信息传递给手部分支。由此产生的优化（训练）问题可能不稳定，我们通过两种策略来解决这一问题：(i) 注意力引导的图卷积，有助于识别并聚焦于相互遮挡区域；(ii) 无监督关联损失，促进分支间的信息传递。在四个广泛使用的基准上的实验表明，我们的框架在 3D 姿态估计中实现了超越 SOTA 的准确率，并且能够恢复稠密的 3D 手和物体形状。在消融研究中，上述每个技术组件都做出了有意义的贡献。
引用
@article{arxiv.2204.13062,
title = {Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution},
author = {Tze Ho Elden Tse and Kwang In Kim and Ales Leonardis and Hyung Jin Chang},
journal= {arXiv preprint arXiv:2204.13062},
year = {2022}
}
备注
Accepted to CVPR 2022