学习优化去噪分数用于 3D 生成：NeRF 与 3D 高斯泼溅上统一且改进的扩散先验
计算机视觉与模式识别
2023-12-11 v1 人工智能
摘要
我们提出了一个统一的框架，旨在增强 3D 生成任务的扩散先验。尽管这些任务至关重要，现有方法往往难以生成高质量的结果。我们首先审视了以往扩散先验的内在局限性。我们识别出扩散先验与扩散模型训练过程之间的分歧，这严重损害了 3D 生成的质量。为解决此问题，我们提出了一种新颖的统一框架，该框架迭代地优化 3D 模型和扩散先验。利用扩散先验的不同可学习参数，我们的方法提供了多种配置，在性能和实现复杂性之间提供了各种权衡。值得注意的是，我们的实验结果表明，我们的方法显著超越了现有技术，在文本到 3D 生成领域建立了新的最先进水平。此外，我们的方法在 NeRF 和新引入的 3D 高斯泼溅骨干网络上均表现出令人印象深刻的性能。另外，我们的框架为理解最近的分数蒸馏方法（如 VSD 和 DDS 损失）提供了富有洞察力的贡献。
引用
@article{arxiv.2312.04820,
title = {Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting},
author = {Xiaofeng Yang and Yiwen Chen and Cheng Chen and Chi Zhang and Yi Xu and Xulei Yang and Fayao Liu and Guosheng Lin},
journal= {arXiv preprint arXiv:2312.04820},
year = {2023}
}