SayPlan：利用三维场景图 grounding 大语言模型以实现可扩展机器人任务规划
机器人学
2023-09-29 v2 人工智能
摘要
大语言模型（LLMs）在开发面向多样任务的通用规划智能体方面已展现出令人印象深刻的结果。然而，将这些规划 grounding 到广阔、多层且多房间的环境中，对机器人学而言是一项重大挑战。我们提出 SayPlan，一种基于 LLM、利用三维场景图（3DSG）表示的机器人大规模任务规划可扩展方法。为确保方法的可扩展性，我们：（1）利用 3DSG 的层次特性，使 LLM 能够从完整图的较小折叠表示中进行任务相关子图的“语义搜索”；（2）通过集成经典路径规划器来缩减 LLM 的规划视野；（3）引入“迭代重规划”流水线，利用来自场景图模拟器的反馈精炼初始规划，纠正不可行动作并避免规划失败。我们在两个大规模环境（至多 3 层、36 个房间、140 个资产与物体）上评估了我们的方法，并表明该方法能够为移动操作机器人 grounding 来自抽象自然语言指令的大规模、长视野任务规划以供执行。我们在项目页面 https://sayplan.github.io 提供了真实机器人视频演示。
引用
@article{arxiv.2307.06135,
title = {SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning},
author = {Krishan Rana and Jesse Haviland and Sourav Garg and Jad Abou-Chakra and Ian Reid and Niko Suenderhauf},
journal= {arXiv preprint arXiv:2307.06135},
year = {2023}
}
备注
Accepted for oral presentation at the Conference on Robot Learning (CoRL), 2023. Project page can be found here: https://sayplan.github.io