利用大语言模型与语音指令在偏好地形上的约束机器人导航：发挥副词的力量
机器人学
2024-04-04 v1 机器学习
摘要
本文探索利用大语言模型通过生成式AI实现无地图越野导航，减少传统数据收集和标注的需求。我们提出一种方法：机器人接收口头指令，通过Whisper转换为文本，大语言模型（LLM）提取地标、偏好地形以及关键副词，这些副词被转换为速度设置以实现约束导航。一个语言驱动的语义分割模型生成基于文本的掩码，用于识别图像中的地标和地形类型。通过利用相机参数将二维图像点映射到车辆运动平面，MPC控制器可引导车辆朝向期望地形。该方法增强了对多样化环境的适应性，并促进了使用高级指令在复杂和具有挑战性的地形中导航。
引用
@article{arxiv.2404.02294,
title = {Constrained Robotic Navigation on Preferred Terrains Using LLMs and Speech Instruction: Exploiting the Power of Adverbs},
author = {Faraz Lotfi and Farnoosh Faraji and Nikhil Kakodkar and Travis Manderson and David Meger and Gregory Dudek},
journal= {arXiv preprint arXiv:2404.02294},
year = {2024}
}
备注
Presented at ISER 2023