HandOS：单阶段3D手部重建
计算机视觉与模式识别
2025-03-20 v2 图形学
摘要
现有的手部重建方法主要遵循多阶段框架，包括检测、左右分类和姿态估计。这一范式导致冗余计算和累积误差。在本工作中，我们提出HandOS，一个用于3D手部重建的端到端框架。我们的核心动机是将冻结的检测器作为基础，同时纳入用于2D和3D关键点估计的辅助模块。通过这种方式，我们将姿态估计能力集成到检测框架中，同时消除使用左右类别作为前提条件的必要性。具体而言，我们提出了交互式2D-3D解码器，其中2D关节语义从检测线索中派生，而3D表征则从2D关节中被提升。此外，设计了层次注意力机制，以同时建模2D关节、3D顶点和相机平移。因此，我们实现了在单阶段框架中将手部检测、2D姿态估计和3D网格重建端到端集成，从而克服了上述多阶段缺点。与此同时，HandOS在公共基准测试中达到了状态的最佳性能，例如FreiHand上的5.0 PA-MPJPE和HInt-Ego4D上的64.6% [email protected]。项目页面：idea-research.github.io/HandOSweb。
引用
@article{arxiv.2412.01537,
title = {HandOS: 3D Hand Reconstruction in One Stage},
author = {Xingyu Chen and Zhuheng Song and Xiaoke Jiang and Yaoqing Hu and Junzhi Yu and Lei Zhang},
journal= {arXiv preprint arXiv:2412.01537},
year = {2025}
}