用于三维交互手部网格恢复的提取与适配网络
计算机视觉与模式识别
2023-09-06 v1
摘要
理解两只手如何相互交互是准确恢复三维交互手部网格的关键组成部分。然而，近期基于Transformer的方法难以学习两手之间的交互，因为它们直接将两只手的特征作为输入token，这导致了远距离token问题。远距离token问题是指输入token处于异构空间中，致使Transformer无法捕捉输入token之间的相关性。以往的基于Transformer的方法尤其当两手姿态差异很大时深受该问题困扰，因为它们从骨干网络投影特征到分离的左、右手专用特征。我们提出EANet，即提取与适配网络（extract-and-adaptation network），其主干组件为EABlock。我们的EABlock并非直接利用两手特征作为输入token，而是使用两种互补的新型token——SimToken和JoinToken——作为输入token。我们的两种新型token来自分离的两手特征的组合；因此，它对远距离token问题更为鲁棒。利用这两类token，我们的EABlock有效提取交互特征并将其适配到每只手上。所提出的EANet在三维交互手基准上取得了最先进的性能。代码见https://github.com/jkpark0825/EANet。
引用
@article{arxiv.2309.01943,
title = {Extract-and-Adaptation Network for 3D Interacting Hand Mesh Recovery},
author = {JoonKyu Park and Daniel Sungho Jung and Gyeongsik Moon and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2309.01943},
year = {2023}
}
备注
Accepted at ICCVW 2023