LWA-HAND：用于交互手重建的轻量注意力手
计算机视觉与模式识别
2022-08-30 v3
摘要
近年来，在视觉现实和增强现实等实时应用中，手部重建取得了巨大成功，而通过高效transformer进行双手交互重建仍未被探索。本文提出一种称为轻量注意力手（LWA-HAND）的方法，从单张RGB图像以低浮点运算量重建手部。为解决高效注意力架构中的遮挡与交互问题，本文提出三个移动端注意力模块。第一个模块是轻量特征注意力模块，以由粗到细的方式提取局部遮挡表示与全局图像块表示。第二个模块是跨图像与图桥接模块，融合图像上下文与手部顶点。第三个模块是轻量跨注意力机制，以线性复杂度通过逐元素操作实现双手的跨注意力。所得模型在InterHand2.6M基准上取得与最先进模型相当的性能，同时将浮点运算量降至，而最先进模型的计算量在至之间。
引用
@article{arxiv.2208.09815,
title = {LWA-HAND: Lightweight Attention Hand for Interacting Hand Reconstruction},
author = {Xinhan Di and Pengqian Yu},
journal= {arXiv preprint arXiv:2208.09815},
year = {2022}
}
备注
Accepted by ECCV 2022 Computer Vision for Metaverse Workshop (16 pages, 6 figures, 1 table)