基于大语言模型的导航：以语义猜测作为规划启发式
机器人学
2023-10-17 v1 人工智能
计算与语言
机器学习
摘要
在陌生环境中导航对机器人而言是一大挑战：尽管建图与规划技术可用于构建世界表征，但在此类方法中快速发现通往期望目标的路径于陌生场景往往需漫长的建图与探索。人类能够利用语义快速导航新环境，尤其是布局合理的室内环境——例如厨房常毗邻客厅，出口标识指示外出方向等。语言模型可为机器人提供此类知识，但直接用语言模型指示机器人如何抵达某目的地亦不切实际：语言模型虽能生成关于如何抵达目标的叙述，但因未 grounded 于真实世界观测，该叙述可能任意出错。因此，本文研究如何将语言模型产生的“语义猜测”用作规划算法的引导启发式。我们的方法 Language Frontier Guide (LFG) 通过将语言模型中存储的语义知识作为拓扑或度量地图规划时的搜索启发式，来偏置对新真实世界环境的探索。我们在具挑战性的真实世界环境与模拟基准上评估 LFG，其表现优于无信息探索及其他使用语言模型的方式。
引用
@article{arxiv.2310.10103,
title = {Navigation with Large Language Models: Semantic Guesswork as a Heuristic for Planning},
author = {Dhruv Shah and Michael Equi and Blazej Osinski and Fei Xia and Brian Ichter and Sergey Levine},
journal= {arXiv preprint arXiv:2310.10103},
year = {2023}
}
备注
Videos, code, and an interactive Colab notebook that runs in your browser https://sites.google.com/view/lfg-nav/