基于神经情境场景图的3D场景类比学习

理解场景情境对于机器在未见或噪声环境中执行任务和迁移先验知识至关重要。由于数据驱动的学习难以 comprehensively 封装多样化的布局和开放空间，本文提出通过教导机器识别3D空间中的关系共性来实现目标。我们引入3D场景类比，即在3D场景区域之间建立平滑映射，对齐空间关系。与已研究的单实例级地图不同，这些场景级地图平滑地连接大范围场景区域，可能为AR/VR中的轨迹迁移、仿真学习的长期演示迁移以及上下文感知的对象重新排列等独特应用提供可能。为寻找3D场景类比，我们提出神经情境场景图，从而提取概括语义和几何情境的描述字段，并以粗到细的方式进行整体对齐以估计地图。该方法减少了对单个特征点的依赖，使其对输入噪声或形变更具鲁棒性。实验表明，我们的方法在识别场景类比以及在多样化室内场景中迁移轨迹或对象放置方面均有效，表明其在机器人和AR/VR应用中的潜力。项目页面及代码链接如下：https://82magnolia.github.io/3d_scene_analogies/。