VM-BHINet：用于从单张 RGB 图像恢复三维交互手部网格的视觉 Mamba 双手交互网络
计算机视觉与模式识别
2025-04-22 v1 人工智能
摘要
理解双手交互对于实现逼真的三维姿态和形状重建至关重要。然而，现有方法在遮挡、模糊外观和计算效率方面存在困难。为应对这些挑战，我们提出了视觉 Mamba 双手交互网络（VM-BHINet），将状态空间模型（SSMs）引入手部重建，以增强交互建模同时提升计算效率。核心组件——视觉 Mamba 交互特征提取模块（VM-IFEBlock）——将 SSMs 与局部和全局特征操作相结合，实现对手部交互的深度理解。在 InterHand2.6M 数据集上的实验表明，VM-BHINet 将平均每关节位置误差（MPJPE）和平均每顶点位置误差（MPVPE）降低了 2-3%，显著超越了最先进方法。
引用
@article{arxiv.2504.14618,
title = {VM-BHINet:Vision Mamba Bimanual Hand Interaction Network for 3D Interacting Hand Mesh Recovery From a Single RGB Image},
author = {Han Bi and Ge Yu and Yu He and Wenzhuo Liu and Zijie Zheng},
journal= {arXiv preprint arXiv:2504.14618},
year = {2025}
}