GaussianDreamer：通过桥接 2D 与 3D 扩散模型从文本快速生成 3D 高斯
计算机视觉与模式识别
2024-05-14 v3 图形学
摘要
近来，从文本提示生成 3D 资产已展现出令人印象深刻的结果。2D 与 3D 扩散模型均可基于提示生成不错的 3D 物体。3D 扩散模型具有良好 3D 一致性，但因可训练 3D 数据昂贵且难获取，其质量与泛化能力有限。2D 扩散模型具备强泛化与精细生成能力，但难以保证 3D 一致性。本文尝试通过近期显式且高效的 3D 高斯泼溅表示，桥接两类扩散模型的能力。提出一种名为 GaussianDreamer 的快速 3D 物体生成框架，其中 3D 扩散模型提供初始化先验，2D 扩散模型丰富几何与外观。引入噪声点生长与颜色扰动操作以增强初始化高斯。我们的 GaussianDreamer 可在单 GPU 上 15 分钟内生成高质量 3D 实例或 3D 虚拟形象，远快于先前方法，且生成实例可直接实时渲染。演示与代码见 https://taoranyi.com/gaussiandreamer/。
引用
@article{arxiv.2310.08529,
title = {GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models},
author = {Taoran Yi and Jiemin Fang and Junjie Wang and Guanjun Wu and Lingxi Xie and Xiaopeng Zhang and Wenyu Liu and Qi Tian and Xinggang Wang},
journal= {arXiv preprint arXiv:2310.08529},
year = {2024}
}
备注
CVPR 2024, Project page: https://taoranyi.com/gaussiandreamer/