具有丰富词汇接地的文本到3D场景生成

将场景描述映射到3D几何表示的能力在艺术、教育、机器人等领域有许多应用。然而，先前关于文本到3D场景生成任务的研究使用了手动指定的对象类别和识别它们的语言。我们引入一个用自然语言描述标注的3D场景数据集，并从该数据中学习如何将文本描述接地到物理对象。我们的方法成功将各种词汇项接地到具体指称物，并且我们从定量上表明，与之前使用纯基于规则的方法相比，我们的方法改进了3D场景生成。我们通过人类判断评估使用我们的接地方法生成的3D场景的保真度和合理性。为简化该任务的评估，我们还引入了一种与人类判断强相关的自动度量。