DreamScene360：基于全景高斯溅射的无约束文本到 3D 场景生成
计算机视觉与模式识别
2024-07-26 v2 人工智能
摘要
对虚拟现实应用日益增长的需求突显了制作沉浸式 3D 资产的重要性。我们提出了一种文本到 3D 的 360 场景生成流水线，可在数分钟内为野外环境创建全面的 360 场景。我们的方法利用 2D 扩散模型的生成能力和提示自优化来创建高质量且全局一致的全景图像。该图像作为初步的“平面”（2D）场景表示。随后，将其提升为 3D 高斯，采用溅射技术以实现实时探索。为了产生一致的 3D 几何，我们的流水线通过将 2D 单目深度对齐到全局优化的点云来构建空间一致的结构。该点云作为 3D 高斯质心的初始状态。为了解决单视图输入中固有的不可见问题，我们在合成和输入相机视图上施加语义和几何约束作为正则化。这些约束引导高斯的优化，有助于重建未见区域。总之，我们的方法在 360 视角内提供了全局一致的 3D 场景，相比现有技术提供了增强的沉浸式体验。项目网站：http://dreamscene360.github.io/
引用
@article{arxiv.2404.06903,
title = {DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting},
author = {Shijie Zhou and Zhiwen Fan and Dejia Xu and Haoran Chang and Pradyumna Chari and Tejas Bharadwaj and Suya You and Zhangyang Wang and Achuta Kadambi},
journal= {arXiv preprint arXiv:2404.06903},
year = {2024}
}