基于大语言模型的人类指令与反馈下的行为树生成用于顺序操作规划
机器人学
2024-09-17 v1
摘要
在本工作中，我们提出了一种基于大语言模型的BT生成框架，利用两者的优势进行顺序操作规划。为实现人机协作任务规划并提升非专业人士的直观机器人编程，框架以人类指令为输入以启动动作序列的生成，并以人类反馈在运行时对BT生成进行细化。框架中所述的所有方法都在实际机器人装配示例上进行测试，该示例使用来自西门子机器人装配挑战的齿轮集模型。我们使用单个带有工具更换机制的机械臂，这是灵活制造中常见的做法，以实现对各种物体的稳健抓取。实验结果针对成功率、逻辑一致性、可执行性、耗时和token消耗进行评估。鉴于本文提出的框架是首个在真实测试环境中完全生成可在实际测试台上执行的BT的、并考虑工具使用细粒度知识的、以人类引导方式利用LLM生成BT的框架，我们深入评估了其性能。
引用
@article{arxiv.2409.09435,
title = {Behavior Tree Generation using Large Language Models for Sequential Manipulation Planning with Human Instructions and Feedback},
author = {Jicong Ao and Yansong Wu and Fan Wu and Sami Haddadin},
journal= {arXiv preprint arXiv:2409.09435},
year = {2024}
}