ACR：基于注意力协作的回归器用于任意双手重建
计算机视觉与模式识别
2023-03-13 v1
摘要
从单目 RGB 图像重建两只手具有挑战性，原因在于频繁的遮挡与相互混淆。现有方法主要学习一种纠缠表示来编码两只交互的手，其对于受损交互（如截断的手、分离的手或外部遮挡）极为脆弱。本文提出 ACR（基于注意力协作的回归器），首次尝试在任意场景下重建手。为此，ACR 通过利用基于中心和基于部件的注意力进行特征提取，显式地缓解手与手之间及部件之间的相互依赖。然而，减少相互依赖有助于解除输入约束，同时也削弱了关于交互手重建的相互推理。因此，基于中心注意力，ACR 还学习跨手先验以更好地处理交互手。我们在多种类型的手重建数据集上评估了我们的方法。在 InterHand2.6M 数据集上，我们的方法显著优于最佳的交互手方法，同时在 FreiHand 数据集上取得了与最先进单手方法相当的性能。在真实场景（in-the-wild）及手-物交互数据集与网络图像/视频上的更多定性结果，进一步证明了我们的方法对任意手重建的有效性。我们的代码见 https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction。
引用
@article{arxiv.2303.05938,
title = {ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction},
author = {Zhengdi Yu and Shaoli Huang and Chen Fang and Toby P. Breckon and Jue Wang},
journal= {arXiv preprint arXiv:2303.05938},
year = {2023}
}
备注
Accepted by CVPR 2023; Code at https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction