MeMaHand：利用网格-MANO交互从单张图像重建双手
计算机视觉与模式识别
2023-04-18 v2 人工智能
摘要
现有的手部重建方法通常参数化一个通用的3D手部模型或直接预测手部网格位置。由手部形状和旋转姿态组成的参数化表示更为稳定，而非参数化方法能预测更精确的网格位置。本文中，我们提出从单张RGB图像同时重建双手网格并估计MANO参数，以利用两类手部表示的优点。为实现该目标，我们提出新颖的网格-MANO交互块（MMIBs），其将网格顶点位置和MANO参数作为两类查询令牌。MMIB由一个聚合局部信息的图残差块和两个建模长程依赖的transformer编码器组成。这些transformer编码器配备不同的非对称注意力掩码，分别建模手内和手间注意力。此外，我们引入网格对齐细化模块以进一步增强网格-图像对齐。在InterHand2.6M基准上的大量实验表明，相比最先进的（SOTA）手部重建方法取得了有前景的结果。
引用
@article{arxiv.2303.15718,
title = {MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction},
author = {Congyi Wang and Feida Zhu and Shilei Wen},
journal= {arXiv preprint arXiv:2303.15718},
year = {2023}
}