LayerPano3D: 用于超沉浸式场景生成的分层三维全景图

三维沉浸式场景生成是计算机视觉和图形学中一项具有挑战性但至关重要的任务。理想的虚拟三维场景应：1) 表现出全向视图一致性，2) 允许在复杂的场景层次中自由探索。现有方法要么通过修复进行连续场景扩展，要么采用全景图表示来表征大视场场景环境。然而，生成的场景在扩展过程中会出现语义漂移，并且无法处理场景层次间的遮挡。为应对这些挑战，我们引入了Layerpano3D，一个从单一文本提示生成全视角、可探索全景三维场景的新颖框架。我们的关键见解是将参考二维全景图分解为不同深度层次的多个图层，其中每个图层通过扩散先验揭示参考视图中的未观察空间。Layerpano3D包含多个专门设计：1) 我们引入了一个新的全景数据集Upright360，包含9k张高质量、直立的全景图像，并在Upright360上微调先进的Flux模型，以实现高质量、直立且一致的全景生成。2) 我们首创了分层三维全景图作为底层表示来管理复杂的场景层次，并将其提升为三维高斯体，以渲染具有无约束观察路径的详细360度全向场景。大量实验表明，我们的框架在全视图一致性和沉浸式探索体验方面生成了最先进的三维全景场景。我们相信Layerpano3D有望推动三维全景场景创建及其众多应用的发展。