enabling 机器人遵循抽象指令并完成复杂动态任务
机器人学
2024-06-18 v1 人工智能
计算与语言
机器学习
摘要
在不可预测的环境中完成复杂任务（如主厨）对机器人系统构成挑战。这些挑战包括解释高层次人类命令（如"为我准备一杯温热饮料"），并执行诸如将精确量的水倒入移动中的保温杯等动作。为解决这些挑战，我们提出一种新型框架，将大语言模型（LLM）、精选知识库和集成力和视觉反馈（IFVF）相结合。我们的方法解释抽象指令，执行长期任务，并处理各种不确定性。它利用 GPT-4 分析用户查询和周围环境，然后生成代码以访问执行期间的精选功能数据库。它将抽象指令转化为可操作的步骤。每一步都涉及通过采用检索增强的泛化来从知识库中提取 IFVF 相关示例，以生成定制代码。IFVF 允许机器人在执行期间响应噪声和扰动。我们使用咖啡制作和盘子装饰来展示我们的方法，包括从倒水到抽屉打开等组件，每种组件都受益于不同类型的反馈和方法。这种新型方法标志着在不确定环境中完成复杂任务的可扩展、高效机器人框架的重大进展。我们的发现在附带的视频中进行了说明，并得到开源 GitHub 仓库（在论文接受后发布）的支持。
引用
@article{arxiv.2406.11231,
title = {Enabling robots to follow abstract instructions and complete complex dynamic tasks},
author = {Ruaridh Mon-Williams and Gen Li and Ran Long and Wenqian Du and Chris Lucas},
journal= {arXiv preprint arXiv:2406.11231},
year = {2024}
}