MagicHOI：利用 3D 先验进行短单目视频片段中的手物重建
计算机视觉与模式识别
2025-08-08 v1
摘要
大多数基于 RGB 的手物重建方法依赖物体模板，而无模板方法通常假设物体完全可见。这种假设在实际场景中常被打破，固定的相机视角和静态握持方式导致物体部分不可见，进而产生不合理的重建结果。为此，我们提出 MagicHOI，一种从短单目交互视频中重建手和物体的方法，即使视角变化有限也能有效工作。我们的关键洞察是，尽管配对 3D 手物数据稀缺，但大规模新视角合成扩散模型提供了丰富的物体监督信号。该监督可用于正则化手部交互期间不可见的物体区域。我们将新视角合成模型集成到手物重建框架中，并通过引入可见接触约束实现手与物体的对齐。实验结果表明，MagicHOI 在手物重建方面显著优于现有最先进方法。我们也展示，新视角合成扩散先验有效正则化不可见的物体区域，提升了 3D 手物重建质量。
引用
@article{arxiv.2508.05506,
title = {MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips},
author = {Shibo Wang and Haonan He and Maria Parelli and Christoph Gebhardt and Zicong Fan and Jie Song},
journal= {arXiv preprint arXiv:2508.05506},
year = {2025}
}