基于 Llama3 的语音引导序列规划用于自主导航
机器人学
2024-09-30 v2
摘要
在社交机器人领域，关键任务是使机器人能够以更自然、无缝的方式与人类互动。大型语言模型 (LLM) 如生成式预训练变换器 (GPT) 以及自回归模型如 Llama 等的出现，推动了将自然语言理解能力集成到社交机器人中的显著进展。本文提出了一种利用 Llama3 和机器人操作系统 (ROS) 的语音引导序列规划系统，用于自主导航。该系统使用 Llama3 解释语音指令，通过解析提取关键细节，并将指令解码为用于完成任务的序列动作。序列规划在诸多领域尤为关键，尤其是用于物体的提取与递送。一旦评估了序列导航任务，我们采用 DRL-VO，这是一种基于学习的控制策略，使机器人能够在静态基础设施和（人群）环境中自主导航。我们在 Turtlebot 2 (ROS1) 和 Turtlebot 3 (ROS2) 的仿真实验中展示了该系统的有效性。我们进行了硬件试验，使用 Clearpath Robotics 的 Jackal 非武装地面车辆 (UGV)，凸显了其在需要灵活和交互式机器人行为的实际场景中的潜力。
引用
@article{arxiv.2407.09890,
title = {Speech-Guided Sequential Planning for Autonomous Navigation using Large Language Model Meta AI 3 (Llama3)},
author = {Alkesh K. Srivastava and Philip Dames},
journal= {arXiv preprint arXiv:2407.09890},
year = {2024}
}
备注
Accepted at the 16th International Conference on Social Robotics + AI