CurricuLLM: 使用大语言模型自动设计复杂机器人技能的任务课程
机器人学
2025-04-16 v2 机器学习
系统与控制
系统与控制
摘要
课程学习是强化学习(RL)中的一种训练机制，通过逐步增加任务难度来实现复杂策略的学习。然而，为特定任务设计有效的课程往往需要大量的领域知识和人工干预，这限制了其在不同领域的应用性。我们的核心思想是，大语言模型(LLM)由于在多样化语言数据上的大量训练以及封装世界知识的能力，具有显著的潜力来高效地分解任务并在各种机器人环境中解构技能。此外，LLM在将自然语言翻译为可执行代码以增强RL代理能力方面取得的成功，进一步强化了其在生成任务课程中的作用。在本工作中，我们提出了CurricuLLM，该系统利用LLM的高级规划和编程能力进行课程设计，从而提高了复杂目标任务的高效学习能力。CurricuLLM由以下组成：(步骤1)生成帮助目标任务学习的子任务序列以自然语言形式呈现，(步骤2)将子任务的自然语言描述翻译为可执行任务代码，包括奖励代码和目标分布代码，(步骤3)基于轨迹滚动和子任务描述对训练好的策略进行评估。我们在各种机器人仿真环境中对CurricuLLM进行了评估，包括操作、导航和运动控制，展示了CurricuLLM有助于学习复杂机器人控制任务的能力。此外，我们验证了通过CurricuLLM学习的人类 locomotion 策略在实际中的有效性。项目网站为 https://iconlab.negarmehr.com/CurricuLLM/
引用
@article{arxiv.2409.18382,
title = {CurricuLLM: Automatic Task Curricula Design for Learning Complex Robot Skills using Large Language Models},
author = {Kanghyun Ryu and Qiayuan Liao and Zhongyu Li and Payam Delgosha and Koushil Sreenath and Negar Mehr},
journal= {arXiv preprint arXiv:2409.18382},
year = {2025}
}
备注
Accepted to ICRA 2025