基于场景图的可控三维室外场景生成

三维场景生成在计算机视觉中至关重要，其应用涵盖自动驾驶、游戏和元宇宙。现有方法要么缺乏用户控制，要么依赖于不精确、非直观的条件。在本工作中，我们提出了一种使用场景图（一种易于访问且用户友好的控制格式）来生成三维室外场景的方法。我们开发了一个交互式系统，将稀疏场景图转换为密集的 BEV (Bird's Eye View) 嵌入图，该嵌入图引导条件扩散模型生成与场景图描述相匹配的三维场景。在推理过程中，用户可以轻松创建或修改场景图以生成大规模室外场景。我们创建了一个包含成对场景图和三维语义场景的大规模数据集，用于训练 BEV 嵌入模型和扩散模型。实验结果表明，我们的方法能够持续生成与输入场景图紧密对齐的高质量三维城市场景。据我们所知，这是首个以场景图为条件生成三维室外场景的方法。