具身智能体能否找到你的“猫形杯子”？基于 LLM 引导探索的零样本物体导航
机器人学
2024-04-16 v2 人工智能
计算与语言
摘要
我们提出 LGX（Language-guided Exploration，语言引导探索），一种用于语言驱动的零样本物体目标导航（L-ZSON）的新算法，其中具身智能体在先前未见过的环境中导航至一个被独特描述的目标物体。我们的方法利用大语言模型（LLMs）的常识推理能力来做出连续的导航决策，从而将该模型用于此任务。同时，我们使用预训练的视觉-语言定位模型执行泛化的目标物体检测。我们在 RoboTHOR 上取得了最先进的零样本物体导航结果，成功率（SR）较当前 OWL-ViT CLIP on Wheels（OWL CoW）基线提升超过 27%。此外，我们研究了 LLM 在机器人导航中的使用，并分析了影响模型输出的多种提示策略。最后，我们通过\textit{真实世界}实验展示了我们方法的优势，表明 LGX 在检测并导航至视觉上独特物体方面具有优越性能。
引用
@article{arxiv.2303.03480,
title = {Can an Embodied Agent Find Your "Cat-shaped Mug"? LLM-Guided Exploration for Zero-Shot Object Navigation},
author = {Vishnu Sashank Dorbala and James F. Mullen and Dinesh Manocha},
journal= {arXiv preprint arXiv:2303.03480},
year = {2024}
}
备注
10 pages