D-SCo：用于单目手持物体重建的双流条件扩散模型
计算机视觉与模式识别
2024-09-06 v4
摘要
从单张 RGB 图像重建手持物体是计算机视觉中的一项挑战性任务。与以往采用确定性建模范式的工作不同，我们采用点云去噪扩散模型来刻画该问题的概率性质。在核心部分，我们提出用于单目手持物体重建的质心固定双流条件扩散（D-SCo），以应对两个主要挑战。首先，为避免物体质心偏移，我们采用一种新颖的受手约束的质心固定范式，增强了扩散与逆过程的稳定性以及特征投影的精度。其次，我们引入双流去噪器，通过一种新颖的统一手-物语义嵌入，从语义与几何上建模手-物交互，提升了物体被手遮挡区域的重建性能。在合成 ObMan 数据集与三个真实世界数据集 HO3D、MOW 和 DexYCB 上的实验表明，我们的方法可以超越所有其他最先进的方法。
引用
@article{arxiv.2311.14189,
title = {D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction},
author = {Bowen Fu and Gu Wang and Chenyangguang Zhang and Yan Di and Ziqin Huang and Zhiying Leng and Fabian Manhardt and Xiangyang Ji and Federico Tombari},
journal= {arXiv preprint arXiv:2311.14189},
year = {2024}
}
备注
ECCV 2024