GaussianDiffusion:面向结构化噪声的去噪扩散概率模型的三维高斯泼溅方法
计算机视觉与模式识别
2024-11-27 v3
摘要
文本到三维(text-to-3D)以其高效的生成方法和广阔的创作潜力,在 AIGC 领域获得了显著关注。然而,NeRF 的逐像素渲染及其光线步进光采样限制了渲染速度,影响了其在下游工业应用中的效用。高斯泼溅(Gaussian Splatting)近来显示出取代 NeRF 类方法中常用的传统逐点采样技术的趋势,并正在改变三维重建的各个方面。本文提出一种基于高斯泼溅的新型文本到三维内容生成框架 Gaussian Diffusion,并生成更逼真的渲染结果。三维生成中实现多视图一致性这一挑战严重阻碍了建模的复杂性与准确性。受 SJC 启发,我们探索采用多视图噪声分布来扰动由三维高斯泼溅生成的图像,旨在纠正多视图几何中的不一致性。我们巧妙设计了一种高效方法,从共享噪声源出发生成来自不同视角的高斯噪声。此外,基于 vanilla 三维高斯的方法易使模型陷入局部极小,导致浮游物、毛刺或增殖元素等伪影。为缓解这些问题,我们提出变分高斯泼溅技术以提升三维外观的质量与稳定性。据我们所知,我们的方法首次在整个三维内容生成过程中对 Gaussian Diffusion 进行了全面利用。
引用
@article{arxiv.2311.11221,
title = {GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion Probabilistic Models with Structured Noise},
author = {Xinhai Li and Huaibin Wang and Kuo-Kun Tseng},
journal= {arXiv preprint arXiv:2311.11221},
year = {2024}
}