基于场地图的标志感知开放世界探索

当前探索方法在缺乏先验知识的情况下难以在未知的开放世界环境中搜索商店或餐厅。人类可以利用提供场景先验的场地图，通过将场景中的标志与地图上的地标名称关联来辅助探索规划。然而，标志上文本的任意形状和样式，以及多视角不一致性，都给机器人准确识别它们提出了重大挑战。此外，现实世界环境与场地图之间的差异也阻碍了将文本级信息融入规划器。本文提出一种新颖的标志感知探索系统以解决上述挑战，使机器人能够有效利用场地图。我们提出一种标志理解方法，利用基于扩散的文本实例检索方法结合 2D 到 3D 语义融合策略，准确检测和识别标志上的文本。此外，我们设计了一种场地图引导的探索-开发规划器，通过从场地图中推导出的方向启发式来平衡未知区域的探索，以及开发以靠近并调整姿态以获得更好识别。大规模购物中心的实验表明，我们的方法在标志识别性能和搜索效率方面均优于当前最先进的文本定位方法和传统探索方法。项目网站：https://sites.google.com/view/signage-aware-exploration。