GeoHand:解锁先验几何知识以用于单目 3D 手部重建
计算机视觉与模式识别
2026-05-19 v1
摘要
单目 3D 手部重建本质上是一个几何问题,然而仅靠 RGB 外观特征通常难以解决由自遮挡和手与物体交互引起的严重歧义。虽然引入深度可以显式地提供空间线索,但传感器捕获的原始深度图存在大量噪声且不完整,限制了其在细粒度手部重建中的有效性。为了弥合这一差距,我们提出了 GeoHand,这是一个从冻结的基础单目几何估计器 (MoGe2) 中解锁高质量几何先验的新颖框架。认识到这些先验面向一般场景,我们引入了图级别的 GeoAdapter 来重新校准空间特征,专门使其适应详细的手部重建。此外,为了在不掩盖内在 RGB 外观线索的情况下系统地整合这些适配后的先验,我们采用了门控跨模态 token 融合策略。最后,为了确保精确的局部关节姿态,我们设计了关键点查询迭代精炼器 (KQIR),该精炼器使用投影的关节位置来查询几何感知图像特征以进行空间校正。通过在统一流水线中结合全局几何消歧与局部精炼,GeoHand 在 FreiHAND、DexYCB 和 HO3Dv3 上实现了 SOTA 性能,特别是在严重遮挡和手与物体交互的情况下。
关键词
引用
@article{arxiv.2605.17354,
title = {GeoHand: Unlocking Prior Geometry Knowledge for Monocular 3D Hand Reconstruction},
author = {Weiquan Lin and Yaoqing Hu and Liangchen Dai and Xu Tang and Xingyu Chen},
journal= {arXiv preprint arXiv:2605.17354},
year = {2026}
}