SiMA-Hand：通过单视图到多视图自适应提升三维手部网格重建
计算机视觉与模式识别
2024-02-05 v1
摘要
从 RGB 图像估计三维手部网格是一个长期的研究方向，其中遮挡是最具挑战性的问题之一。当遮挡主导图像空间时，现有的尝试通常无法完成此任务。在本文中，我们提出了 SiMA-Hand，旨在通过单视图到多视图自适应来提升网格重建性能。首先，我们设计了一个多视图手部重建器，通过在图像、关节和顶点级别整体采用特征融合来融合跨多个视图的信息。然后，我们引入了一个配备 SiMA 的单视图手部重建器。尽管在推理时仅将一个视图作为输入，但单视图重建器中的形状和方向特征可以通过在训练时从额外视图学习非遮挡知识来丰富，从而提高遮挡区域的重建精度。我们在具有挑战性的物体和自遮挡情况的 Dex-YCB 和 HanCo 基准上进行了实验，表明 SiMA-Hand 始终如一地实现了优于当前最优技术的性能。代码将在 https://github.com/JoyboyWang/SiMA-Hand Pytorch 上发布。
引用
@article{arxiv.2402.01389,
title = {SiMA-Hand: Boosting 3D Hand-Mesh Reconstruction by Single-to-Multi-View Adaptation},
author = {Yinqiao Wang and Hao Xu and Pheng-Ann Heng and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2402.01389},
year = {2024}
}