DreamScene：基于3D高斯的文本到3D场景生成与编队模式采样
计算机视觉与模式识别
2024-07-22 v2
摘要
文本到3D场景生成在游戏、电影和建筑领域具有巨大潜力。尽管已取得显著进展，但现有方法在保持高质量、一致性和编辑灵活性方面仍存在困难。本文提出 DreamScene，一个基于 3D 高斯的新型文本到3D场景生成框架，主要通过两项策略来解决上述三大挑战。首先，DreamScene 采用编队模式采样，这是一种由3D物体编队模式引导的多时间步采样策略，以形成快速、语义丰富且高质量的表示。FPS 使用3D高斯滤波来保证优化稳定性，并利用重建技术生成合理的纹理。其次，DreamScene 采用专为室内外环境设计的渐进式三阶段相机采样策略，有效确保物体与环境的融合以及全场景的3D一致性。最后，DreamScene 通过整合物体与环境增强了场景编辑灵活性，实现了针对性调整。大量实验验证了 DreamScene 相对于当前 SOTA 技术的优越性，预示了其在多样化应用中的广泛潜力。代码和演示将发布于 https://dreamscene-project.github.io 。
引用
@article{arxiv.2404.03575,
title = {DreamScene: 3D Gaussian-based Text-to-3D Scene Generation via Formation Pattern Sampling},
author = {Haoran Li and Haolin Shi and Wenli Zhang and Wenjun Wu and Yong Liao and Lin Wang and Lik-hang Lee and Pengyuan Zhou},
journal= {arXiv preprint arXiv:2404.03575},
year = {2024}
}