从2D对齐到3D 合理性：统一异构2D先验与无穿透扩散，用于遮挡鲁棒的双手重建
计算机视觉与模式识别
2026-03-10 v3 人工智能
摘要
单目图像上的双手重建受到复杂姿态和严重遮挡的限制，这常导致交互错位和双手穿透。我们通过解耦为2D结构对齐和3D空间交互对齐来解决此问题，每个组件均由专门设计的模块处理。对于2D对齐，我们首次尝试将来自视觉基础模型的异构结构先验（关键点、分割和深度）统一为双手恢复的互补结构指导。我们提出一种融合-对齐编码器，通过隐式吸收其结构知识来实现无需基础级别成本即可获得基础级别的指导。对于3D空间对齐，我们提出一种双手无穿透扩散模型，通过学习从穿透姿态到真实、无碰撞配置的生成映射。该模型在去噪过程中受到碰撞梯度引导，向有效双手交互的流形收敛，保持几何和运动学一致性。这种生成式方法论表明，即使在遮挡或模糊视觉输入下，也能实现物理上可信的重建。在InterHand2.6M和HIC上进行的大量实验表明，该方法在交互对齐和抑制穿透方面达到或领先于现有方法。项目：https://gaogehan.github.io/A2P/
引用
@article{arxiv.2503.17788,
title = {From 2D Alignment to 3D Plausibility: Unifying Heterogeneous 2D Priors and Penetration-Free Diffusion for Occlusion-Robust Two-Hand Reconstruction},
author = {Gaoge Han and Yongkang Cheng and Zhe Chen and Shaoli Huang and Tongliang Liu},
journal= {arXiv preprint arXiv:2503.17788},
year = {2026}
}
备注
Accepted by CVPR 2026 Main, Project: https://gaogehan.github.io/A2P/