通过可 affordance 提示技术赋能大语言模型进行机器人操作
人工智能
2024-04-18 v1
摘要
尽管大型语言模型（LLM）在完成各种语言处理任务方面取得成功，但它们容易因生成不当的控制序列而无法与物理世界交互。我们发现，其主要原因在于LLM缺乏对物理世界的 grounding。现有的LLM方法通过依赖额外的预定义技能或预训练子策略来规避这一问题，但难以适应新任务。相比之下，我们旨在解决这一问题，探索在无训练范式下让预训练LLM完成系列机器人操作任务的可能性。因此，我们提出了LLM+A（Affordance）框架，其中LLM既作为子任务规划器（生成高层计划），又作为运动控制器（生成低层控制序列）。为将这些计划和控制序列 grounding 在物理世界，我们发展了可 affordance 提示技术，刺激LLM 1) 预测生成计划的后果，2) 为相关对象生成 affordance 值。经验上，我们评估了LLM+A在各种语言条件机器人操作任务中的有效性，结果表明，我们的方法通过增强生成计划和控制的可行性，显著提升了性能，并且能够轻松地针对不同环境进行泛化。
引用
@article{arxiv.2404.11027,
title = {Empowering Large Language Models on Robotic Manipulation with Affordance Prompting},
author = {Guangran Cheng and Chuheng Zhang and Wenzhe Cai and Li Zhao and Changyin Sun and Jiang Bian},
journal= {arXiv preprint arXiv:2404.11027},
year = {2024}
}