LLM³：基于大语言模型且具备运动失败推理的任务与运动规划框架
机器人学
2024-08-22 v3 人工智能
摘要
传统的任务与运动规划（TAMP）方法依赖手工设计的接口来连接符号任务规划与连续运动生成。这些领域特定且劳动密集的模块在应对现实场景中不断涌现的新任务时能力有限。为此，我们提出 LLM³，一个新颖的基于大语言模型（LLM）的 TAMP 框架，其特点是具备领域无关的接口。具体而言，我们利用预训练 LLM 强大的推理与规划能力来提出符号动作序列，并为运动规划选择连续动作参数。至关重要的是，LLM³ 通过提示引入了运动规划反馈，使 LLM 能够通过推理运动失败来迭代优化其提议。因此，LLM³ 在任务规划与运动规划之间建立了接口，减轻了处理两者间领域特定消息的复杂设计过程。通过在装箱领域的一系列仿真，我们定量证明了 LLM³ 在解决 TAMP 问题上的有效性以及选择动作参数的效率。消融研究强调了运动失败推理对 LLM³ 成功的重要贡献。此外，我们在物理机械臂上进行了定性实验，证明了该方法在现实场景中的实际适用性。
引用
@article{arxiv.2403.11552,
title = {LLM3:Large Language Model-based Task and Motion Planning with Motion Failure Reasoning},
author = {Shu Wang and Muzhi Han and Ziyuan Jiao and Zeyu Zhang and Ying Nian Wu and Song-Chun Zhu and Hangxin Liu},
journal= {arXiv preprint arXiv:2403.11552},
year = {2024}
}
备注
IROS 2024. Codes available: https://github.com/AssassinWS/LLM-TAMP