用于单图像3D重建的一致性扩散模型
计算机视觉与模式识别
2025-02-03 v2
摘要
本文致力于从单张图像重建3D点云。我们的目标是开发一致性扩散模型，探索在贝叶斯框架中融合2D和3D先验，以确保重建过程中的一致性，这在该领域中具有挑战性且至关重要。具体而言，我们引入了一个在扩散模型下的首创性训练框架，包含两个关键创新点。首先，我们将从初始3D点云派生的3D结构先验转化为约束项，以增加变分贝叶斯框架中的证据，利用这些稳健的内在先验严格地控制扩散训练过程，以增强重建的一致性。其次，我们提取并整合来自单张输入图像的2D先验，将其投影到3D点云上，以丰富扩散训练的指导。我们的框架不仅规避了在训练时直接施加额外约束可能导致的模型学习偏移，还能精确地将2D先验转移到3D域中。大量实验评估表明，我们的方法在合成数据集和真实世界数据集上均达到了新的基准。随附的代码随本稿件提交。
引用
@article{arxiv.2501.16737,
title = {Consistency Diffusion Models for Single-Image 3D Reconstruction with Priors},
author = {Chenru Jiang and Chengrui Zhang and Xi Yang and Jie Sun and Yifei Zhang and Bin Dong and Kaizhu Huang},
journal= {arXiv preprint arXiv:2501.16737},
year = {2025}
}