基于交互先验从单目图像重建交互双手
计算机视觉与模式识别
2023-08-29 v1
摘要
从单目图像重建交互双手在 AR/VR 应用中不可或缺。大多数现有方案依赖于对每个骨架关节的准确定位。然而,由于严重的遮挡和相邻手部部件间易混淆的相似性,这些方法往往不可靠。这也违背了人类感知,因为人类无需定位所有关节即可快速模仿交互模式。我们的核心思想是首先构建双手交互先验,并将交互重建任务重新表述为先验上的条件采样。为扩展更多交互状态,我们提出了一个具有物理合理性的大规模多模态数据集。随后训练一个 VAE,将这些交互模式进一步压缩为先验分布中的潜码。在寻找有助于交互先验采样的图像线索时,我们提出交互邻接热图(IAH)。与用于定位的逐关节热图相比,IAH 为那些不可见关节分配了更密集的可见特征。与全合一的可见热图相比,它在每个交互区域提供了更细粒度的局部交互信息。最后,提取的特征与相应交互码之间的关联由 ViT 模块建立。在基准数据集上的综合评估验证了该框架的有效性。代码与数据集已公开于 https://github.com/binghui-z/InterPrior_pytorch
引用
@article{arxiv.2308.14082,
title = {Reconstructing Interacting Hands with Interaction Prior from Monocular Images},
author = {Binghui Zuo and Zimeng Zhao and Wenqian Sun and Wei Xie and Zhou Xue and Yangang Wang},
journal= {arXiv preprint arXiv:2308.14082},
year = {2023}
}
备注
Accepted by ICCV2023