MVDD: 多视图深度扩散模型
计算机视觉与模式识别
2023-12-21 v3
摘要
去噪扩散模型在二维图像生成中展现了出色的结果，但在三维形状生成中复制其成功仍然是一个挑战。在本文中，我们提出利用多视图深度，它以易于去噪的二维数据格式表示复杂的三维形状。我们将这种表示与扩散模型MVDD配对，该模型能够生成具有精细细节的高质量密集点云（20K+点）。为了在多视图深度中强制执行三维一致性，我们引入了一种极线线段注意力机制，该机制将视图的去噪步骤条件化在其相邻视图上。此外，在扩散步骤中融入了深度融合模块，以进一步确保深度图的对齐。当与表面重建结合时，MVDD还可以生成高质量的三维网格。此外，MVDD在深度补全等其他任务中表现出色，并且可以作为三维先验，显著提升许多下游任务，如GAN反演。大量实验的最新结果表明，MVDD在三维形状生成、深度补全方面具有卓越的能力，并且作为下游任务的三维先验具有潜力。
引用
@article{arxiv.2312.04875,
title = {MVDD: Multi-View Depth Diffusion Models},
author = {Zhen Wang and Qiangeng Xu and Feitong Tan and Menglei Chai and Shichen Liu and Rohit Pandey and Sean Fanello and Achuta Kadambi and Yinda Zhang},
journal= {arXiv preprint arXiv:2312.04875},
year = {2023}
}