基于大语言模型的四足机器人长时程运动与操作
机器人学
2025-03-20 v3
摘要
我们提出了一种基于大语言模型（LLM）的系统，赋予四足机器人解决超越短期运动的长期任务的能力。四足机器人的长时程任务具有挑战性，因为它们既需要对问题语义的高层理解以进行任务规划，又需要广泛的运动和操作技能来与环境交互。我们的系统利用大语言模型构建了高层推理层，根据任务描述生成混合离散-连续规划作为机器人代码。它包含多个 LLM 智能体：一个规划任务草案的语义规划器、一个预测规划中参数的参数计算器、一个将规划转化为可执行机器人代码的代码生成器，以及一个处理执行失败或人类干预的重规划器。在低层，我们采用强化学习训练一组运动规划和控制技能，以释放四足机器人在丰富环境交互中的灵活性。我们的系统在无法通过单一技能完成的长时程任务上进行了测试。仿真和真实世界实验表明，它成功找出了多步策略并展示了非平凡的行为，包括制造工具或通知人类寻求帮助。演示可在我们的项目页面获取：https://sites.google.com/view/long-horizon-robot。
引用
@article{arxiv.2404.05291,
title = {Long-horizon Locomotion and Manipulation on a Quadrupedal Robot with Large Language Models},
author = {Yutao Ouyang and Jinhan Li and Yunfei Li and Zhongyu Li and Chao Yu and Koushil Sreenath and Yi Wu},
journal= {arXiv preprint arXiv:2404.05291},
year = {2025}
}