自恢复提示：基于基础模型与自恢复的可提示通用服务机器人系统
机器人学
2023-09-28 v2 人工智能
计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
能够在多样环境中执行各类任务的通用服务机器人（GPSR）需要一个对任务与环境具有高泛化性与适应性的系统。本文中，我们首先基于多个基础模型开发了一个面向国际赛事（RoboCup@Home 2023）的顶层 GPSR 系统。该系统通过对各模型进行提示，既泛化于各种变化又具适应性。随后，通过分析所开发系统的性能，我们发现了在更现实的 GPSR 应用设定中的三类失败：信息不足、规划生成错误与规划执行失败。我们进而提出自恢复提示流水线，其探索必要信息并修改自身提示以从失败中恢复。我们通过实验确认，具备自恢复机制的该系统能够通过解决各类失败情形来完成任务。补充视频见 https://sites.google.com/view/srgpsr 。
引用
@article{arxiv.2309.14425,
title = {Self-Recovery Prompting: Promptable General Purpose Service Robot System with Foundation Models and Self-Recovery},
author = {Mimo Shirasaka and Tatsuya Matsushima and Soshi Tsunashima and Yuya Ikeda and Aoi Horo and So Ikoma and Chikaha Tsuji and Hikaru Wada and Tsunekazu Omija and Dai Komukai and Yutaka Matsuo Yusuke Iwasawa},
journal= {arXiv preprint arXiv:2309.14425},
year = {2023}
}
备注
Website: https://sites.google.com/view/srgpsr