Ouroboros3D: 基于3D感知递归扩散的图像到3D生成
计算机视觉与模式识别
2025-05-02 v2
摘要
现有的单图像到3D创建方法通常涉及两阶段过程，首先生成多视图图像，然后使用这些图像进行3D重建。然而，分别训练这两个阶段会导致推理阶段出现显著的数据偏差，从而影响重建结果的质量。我们引入了一个统一的3D生成框架，名为Ouroboros3D，它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。在我们的框架中，这两个模块通过自条件机制进行联合训练，使它们能够适应彼此的特性以实现鲁棒的推理。在多视图去噪过程中，多视图扩散模型使用重建模块在前一个时间步渲染的3D感知地图作为附加条件。具有3D感知反馈的递归扩散框架统一了整个流程，并提高了几何一致性。实验表明，我们的框架优于将这两个阶段分离的方法，以及现有在推理阶段将它们组合的方法。项目页面：https://costwen.github.io/Ouroboros3D/
引用
@article{arxiv.2406.03184,
title = {Ouroboros3D: Image-to-3D Generation via 3D-aware Recursive Diffusion},
author = {Hao Wen and Zehuan Huang and Yaohui Wang and Xinyuan Chen and Lu Sheng},
journal= {arXiv preprint arXiv:2406.03184},
year = {2025}
}
备注
See our project page at https://costwen.github.io/Ouroboros3D/