中文

HandS3C:基于状态空间空间通道注意力的 RGB 图像 3D 手部网格重建

计算机视觉与模式识别 2025-06-16 v4 人工智能 人机交互

摘要

从单张 RGB 图像重建手部网格是一项具有挑战性的任务,因为手部经常被其他物体遮挡。大多数先前的工作试图探索更多附加信息并采用注意力机制来提高 3D 重建性能,但这同时会增加计算复杂度。为了实现具有高计算效率且保持性能的架构,在这项工作中,我们提出了一个简单但有效的 3D 手部网格重建网络(即 HandS3C),这是首次将状态空间模型(state space model)引入手部网格重建任务。在该网络中,我们设计了一个新颖的状态空间空间通道注意力模块,该模块扩展了有效感受野,在空间维度上提取手部特征,并在通道维度上增强手部的区域特征。这有助于重建完整且详细的手部网格。在面临严重遮挡的知名数据集(如 FREIHAND、DEXYCB 和 HO3D)上进行的大量实验表明,我们提出的 HandS3C 在保持最少参数量的同时,实现了 SOTA 性能。

关键词

引用

@article{arxiv.2405.01066,
  title  = {HandS3C: 3D Hand Mesh Reconstruction with State Space Spatial Channel Attention from RGB images},
  author = {Zixun Jiao and Xihan Wang and Zhaoqiang Xia and Lianhe Shao and Quanli Gao},
  journal= {arXiv preprint arXiv:2405.01066},
  year   = {2025}
}

备注

5 pages, 3 figures