面向单张RGB图像交互手重建的解耦迭代优化框架
计算机视觉与模式识别
2023-08-22 v2 人工智能
摘要
从单张RGB图像重建交互手是一项极具挑战性的任务。一方面，两只手之间严重的相互遮挡和相似的局部外观会混淆视觉特征的提取，导致估计的手部网格与图像之间出现错位。另一方面，交互手之间存在复杂的空间关系，这显著增加了手部姿态的解空间，并加大了网络学习的难度。在本文中，我们提出了一种解耦迭代优化框架，以实现像素对齐的手部重建，同时有效地对手之间的空间关系进行建模。具体来说，我们定义了两个具有不同特性的特征空间，即2D视觉特征空间和3D关节特征空间。首先，我们从视觉特征图中获取关节级特征，并利用图卷积网络和Transformer分别在3D关节特征空间中进行手内和手间信息交互。然后，我们以无混淆的方式将包含全局信息的关节特征投影回2D视觉特征空间，并利用2D卷积进行像素级增强。通过在两个特征空间中执行多次交替增强，我们的方法能够实现精确且鲁棒的交互手重建。在InterHand2.6M数据集上，我们的方法以较大优势优于所有现有的双手重建方法。
引用
@article{arxiv.2302.02410,
title = {Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image},
author = {Pengfei Ren and Chao Wen and Xiaozheng Zheng and Zhou Xue and Haifeng Sun and Qi Qi and Jingyu Wang and Jianxin Liao},
journal= {arXiv preprint arXiv:2302.02410},
year = {2023}
}
备注
Accepted to ICCV 2023 (Oral)