用于单图像双手重建的交互注意力图网络
计算机视觉与模式识别
2022-03-21 v2
摘要
图卷积网络(GCN)在单手重建任务中已取得巨大成功，而利用GCN进行交互双手重建仍未被探索。本文提出Interacting Attention Graph Hand (IntagHand)，这是首个基于图卷积、从单张RGB图像重建两只交互手的网络。为解决双手重建中的遮挡与交互难题，我们在原始GCN的每个上采样步骤中引入两个基于注意力的新模块。第一个模块是金字塔图像特征注意力(PIFA)模块，其利用多分辨率特征隐式获得顶点到图像的对齐。第二个模块是交叉手注意力(CHA)模块，通过在两个手顶点间建立密集交叉注意力来编码交互手的连贯性。结果表明，我们的模型在InterHand2.6M基准上大幅优于所有现有双手重建方法。此外，消融研究验证了PIFA和CHA模块对提升重建精度的有效性。在野外图像和实时视频流上的结果进一步证明了我们网络的泛化能力。我们的代码见https://github.com/Dw1010/IntagHand。
引用
@article{arxiv.2203.09364,
title = {Interacting Attention Graph for Single Image Two-Hand Reconstruction},
author = {Mengcheng Li and Liang An and Hongwen Zhang and Lianpeng Wu and Feng Chen and Tao Yu and Yebin Liu},
journal= {arXiv preprint arXiv:2203.09364},
year = {2022}
}
备注
To appear in CVPR 2022. Project page: http://www.liuyebin.com/IntagHand/Intaghand.html