基于图神经嵌入的主动语义定位
计算机视觉与模式识别
2023-12-27 v5 机器人学
摘要
语义定位，即利用语义图像模态的机器人自定位，在近期涌现的具身 AI 应用（如点目标导航、物体目标导航、视觉语言导航）与拓扑建图应用（如图神经 SLAM、自我中心拓扑地图）中至关重要。然而，现有多数语义定位工作聚焦于无视角规划的被动视觉任务，或依赖额外的丰富模态（如深度测量）。因此该问题在很大程度上尚未解决。本工作中，我们探索一种轻量、完全基于 CPU、域自适应的语义定位框架，称为图神经定位器。我们的方法受两项新兴技术启发：(1) 场景图，其结合了局部与全局特征的视角及外观不变性；(2) 图神经网络，其支持对图数据（即非向量数据）的直接学习/识别。具体而言，首先训练一个图卷积神经网络作为被动视觉的场景图分类器，随后将其知识迁移至强化学习规划器以用于主动视觉。在自监督学习与无监督域适应两种场景下，使用照片级真实感 Habitat 模拟器的实验验证了所提方法的有效性。
引用
@article{arxiv.2305.06141,
title = {Active Semantic Localization with Graph Neural Embedding},
author = {Mitsuki Yoshida and Kanji Tanaka and Ryogo Yamamoto and Daiki Iwata},
journal= {arXiv preprint arXiv:2305.06141},
year = {2023}
}
备注
ACPR2023 (extended version)