SceneDreamer360：基于全景高斯溶解的文本驱动3D一致场景生成
计算机视觉与模式识别
2024-10-15 v2 多媒体
摘要
文本驱动的3D场景生成近期取得了显著进展。然而，大多数现有方法是通过生成模型生成单视图图像，然后在3D空间中拼接，从而导致每个视角的独立生成常产生3D场景的空间不一致和不真实。为解决这一挑战，我们提出了一种新颖的文本驱动3D一致场景生成模型：SceneDreamer360。我们的方法将文本驱动的全景图像生成模型作为3D场景生成的先验，并采用3D高斯溶解（3DGS）确保多视角全景图像之间的一致性。具体而言，SceneDreamer360通过三阶段全景增强，增强了经过微调的Panfusion生成器，以生成高分辨率、细节丰富的全景图像。在3D场景构建期间，采用一种新颖的点云融合初始化方法，产生更高质量且在空间上一致的点云。我们的广泛实验表明，与其他方法相比，SceneDreamer360凭借其全景图像生成和3DGS，能够从任何文本提示生成更高质量、在空间上一致且视觉上令人愉悦的3D场景。我们的代码可在https://github.com/liwrui/SceneDreamer360获取。
引用
@article{arxiv.2408.13711,
title = {SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting},
author = {Wenrui Li and Fucheng Cai and Yapeng Mi and Zhe Yang and Wangmeng Zuo and Xingtao Wang and Xiaopeng Fan},
journal= {arXiv preprint arXiv:2408.13711},
year = {2024}
}