Plan-Seq-Learn：语言模型引导的强化学习用于解决长期机器人任务
机器学习
2024-05-03 v1 人工智能
计算机视觉与模式识别
机器人学
摘要
大型语言模型（LLM）已被证明能够执行长期机器人任务的高级规划，但现有方法需要访问预定义的技能库（如采购、放置、拉取、推送、导航）。然而，LLM规划并未解决如何设计或学习这些行为的问题，这在长期情境中尤为具有挑战性。此外，对于许多感兴趣的任务，机器人需要以细粒度方式调整其行为，要求智能体能够修改低级控制动作。我们可以是否可以利用LLM从互联网获得的规模知识，用于高级策略，指导强化学习（RL）策略在不依赖预确定技能的情况下高效解决机器人控制任务？本文提出Plan-Seq-Learn（PSL）：一种模块化方法，使用运动规划桥接抽象语言与学习的低级控制，以从头开始解决长期机器人任务。我们展示，PSL在超过25个具有最多10个阶段的具有挑战性的机器人任务上实现了最先进的成果。PSL以原始视觉输入在四个基准上以85%以上的成功率解决长期任务，超越了基于语言的、经典的和端到端的方法。视频结果和代码请参见 https://mihdalal.github.io/planseqlearn/。
引用
@article{arxiv.2405.01534,
title = {Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks},
author = {Murtaza Dalal and Tarun Chiruvolu and Devendra Chaplot and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2405.01534},
year = {2024}
}
备注
Published at ICLR 2024. Website at https://mihdalal.github.io/planseqlearn/ 9 pages, 3 figures, 3 tables; 14 pages appendix (7 additional figures)