DMV3D:基于3D大重建模型的多视图扩散去噪
计算机视觉与模式识别
2023-11-16 v1
摘要
我们提出\textbf{DMV3D},一种新颖的3D生成方法,使用基于transformer的3D大重建模型来对多视图扩散进行去噪。我们的重建模型结合了三平面NeRF表示,并可通过NeRF重建与渲染对带噪声的多视图图像去噪,在单块A100 GPU上以约30秒实现单阶段3D生成。我们在大规模、高度多样化的物体多视图图像数据集上仅使用图像重建损失训练\textbf{DMV3D},无需访问3D资产。我们在单图像重建问题上展示了最先进的结果,该问题需要对不可见物体部分进行概率建模,以生成具有清晰纹理的多样化重建。我们还展示了高质量的文本到3D生成结果,优于以往的3D扩散模型。我们的项目网站为:https://justimyhxu.github.io/projects/dmv3d/ 。
引用
@article{arxiv.2311.09217,
title = {DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction Model},
author = {Yinghao Xu and Hao Tan and Fujun Luan and Sai Bi and Peng Wang and Jiahao Li and Zifan Shi and Kalyan Sunkavalli and Gordon Wetzstein and Zexiang Xu and Kai Zhang},
journal= {arXiv preprint arXiv:2311.09217},
year = {2023}
}
备注
Project Page: https://justimyhxu.github.io/projects/dmv3d/