GALA3D：通过布局引导的生成式高斯泼溅实现文本到三维复杂场景生成
计算机视觉与模式识别
2024-06-12 v2
摘要
我们提出了 GALA3D，一种带有布局引导控制的生成式三维高斯泼溅，用于有效的组合式文本到三维生成。我们首先利用大语言模型（LLMs）生成初始布局，并引入一种布局引导的三维高斯表示，用于具有自适应几何约束的三维内容生成。然后，我们提出了一种带有条件扩散的实例-场景组合优化机制，以协作生成具有一致几何、纹理、尺度以及多个物体之间精确交互的真实感三维场景，同时调整从 LLMs 提取的粗略布局先验，使其与生成的场景对齐。实验表明，GALA3D 是一个用户友好的端到端框架，可用于最先进的场景级三维内容生成和可控编辑，同时确保场景内物体级实体的高保真度。源代码和模型将在 gala3d.github.io 上提供。
引用
@article{arxiv.2402.07207,
title = {GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting},
author = {Xiaoyu Zhou and Xingjian Ran and Yajiao Xiong and Jinlin He and Zhiwei Lin and Yongtao Wang and Deqing Sun and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2402.07207},
year = {2024}
}