跟随握持：基于几何引导的手-物体交互重建
计算机视觉与模式识别
2025-08-26 v1
摘要
我们提出了一种基于扩散模型的新颖框架，用于从单目RGB图像重建握持物体的3D几何结构，利用手-物体交互作为几何引导。该方法以填充后的物体外观为条件，构建潜在扩散模型，并采用推理时引导优化物体重建，同时确保手-物体交互的合理性。不同于依赖大量后处理或产生低质量重建的先前方法，我们的方法在扩散过程中直接生成高质量的物体几何，通过引入具有优化-在-循环设计的引导。具体而言，我们通过对速度场施加监督，同时优化正在重建的手部和物体的变换来引导扩散模型。这种优化由多模态几何线索驱动，包括法线和深度对齐、轮廓一致性以及2D关键点重投影。我们进一步引入符号距离场监督，并强制接触和非相交约束，以确保手-物体交互的物理可行性。我们的方法在遮挡情况下的精确、稳健和一致的重建表现优异，并在野外场景中表现出良好的泛化能力。
引用
@article{arxiv.2508.18213,
title = {Follow My Hold: Hand-Object Interaction Reconstruction through Geometric Guidance},
author = {Ayce Idil Aytekin and Helge Rhodin and Rishabh Dabral and Christian Theobalt},
journal= {arXiv preprint arXiv:2508.18213},
year = {2025}
}
备注
Project page: https://aidilayce.github.io/FollowMyHold-page/