RoboCoder：利用大语言模型从基本技能到通用任务的机器人学习
机器人学
2024-06-07 v1 机器学习
摘要
大语言模型（LLMs）的出现改善了机器人任务的前景。然而，现有的基准测试仍局限于泛化能力有限的单一任务。在这项工作中，我们引入了一个全面的基准测试和一个自主学习的框架RoboCoder，旨在增强机器人在复杂环境中的泛化能力。与专注于单任务学习的传统方法不同，我们的研究强调开发一种通用机器人编码算法，使机器人能够利用基本技能来处理日益复杂的任务。新提出的基准测试包含7个不同实体上的80个手工设计的任务，测试模型从最少的初始掌握中学习的能力。初步测试显示，即使是像GPT-4这样的先进模型，在类人实体的三次示例场景中也仅能达到47%的通过率。为了解决这些局限性，RoboCoder框架将大语言模型（LLMs）与一个动态学习系统相结合，该系统利用实时环境反馈来持续更新和优化动作代码。这种自适应方法显示出显著的改进，实现了36%的相对提升。我们的代码将公开发布。
引用
@article{arxiv.2406.03757,
title = {RoboCoder: Robotic Learning from Basic Skills to General Tasks with Large Language Models},
author = {Jingyao Li and Pengguang Chen and Sitong Wu and Chuanyang Zheng and Hong Xu and Jiaya Jia},
journal= {arXiv preprint arXiv:2406.03757},
year = {2024}
}