SemCity：基于三平面扩散的语义场景生成

我们提出了“SemCity”，一种用于真实世界室外环境语义场景生成的 3D 扩散模型。大多数 3D 扩散模型专注于生成单个物体、合成室内场景或合成室外场景，而很少涉及真实世界室外场景的生成。本文专注于通过在真实世界室外数据集上学习扩散模型来生成真实室外场景。与合成数据相比，真实室外数据集由于传感器限制通常包含更多空白空间，导致学习真实室外分布面临挑战。为解决此问题，我们利用三平面表示作为场景分布的代理形式，供扩散模型学习。此外，我们提出了一种三平面操作方法，可无缝集成到我们的三平面扩散模型中。该操作提升了扩散模型在多种与室外场景生成相关的下游任务中的适用性，例如场景修复、场景外绘和语义场景补全优化。实验结果表明，与现有工作相比，我们的三平面扩散模型在真实室外数据集 SemanticKITTI 上展示了有意义的生成结果。我们还表明，三平面操作有助于在场景中无缝添加、移除或修改物体。此外，它还能将场景扩展至城市级尺度。最后，我们在语义场景补全优化任务上评估了本方法，其中扩散模型通过学习场景分布增强了语义场景补全网络的预测。代码可在 https://github.com/zoomin-lee/SemCity 获取。