基于语言驱动空间本体的室内外3D场景图生成

本文提出了一种在任意室内和室外环境中构建 3D 场景图的方法。这种扩展具有挑战性；描述室外环境的概念层次比室内环境更复杂，且手动定义此类层次耗时且不可扩展。此外，训练数据的缺乏阻碍了将室内环境中使用的基于学习的工具直接应用。为了应对这些挑战，我们提出了两种新颖的扩展。首先，我们开发了构建空间本体的方法，以定义与室内外机器人操作相关的概念和关系。具体而言，我们使用大型语言模型来构建此类本体，从而大幅减少了所需的手动工作量。其次，我们利用空间本体进行 3D 场景图构建，使用逻辑张量网络添加逻辑规则或公理（例如，“海滩包含沙子”），这在训练时提供了额外的监督信号，从而减少了对标注数据的需求，提供了更好的预测，甚至允许预测训练时未见过的概念。我们在多种数据集上测试了该方法，包括室内、乡村和沿海环境，并表明它能在标注稀疏的数据上显著提升 3D 场景图生成的质量。