RACER：面向模仿学习的丰富语言引导失败恢复策略
机器人学
2024-09-24 v1 计算与语言
计算机视觉与模式识别
摘要
由于缺乏从失败中自我恢复的机制以及简单语言指令在指导机器人动作方面的局限性，开发健壮且可纠错的视觉-运动策略面临挑战。为此，我们提出了一个可扩展的数据生成管道，自动为专家演示augment失败恢复轨迹并添加细粒度语言注释以进行训练。随后，我们引入了Rich languAge-guided failure reCovERy（RACER），一种监督-演员框架，结合失败恢复数据与丰富语言描述以增强机器人控制。RACER 具备一种视觉-语言模型（VLM），作为在线监督者，为错误纠正和任务执行提供详细的语言指导，同时具备一种语言条件化视觉-运动策略作为演员，用于预测下一步动作。我们的实验结果表明，RACER 在 RLbench 上超越了最先进的机器人视图变换器（RVT），在包括标准长期任务、动态目标变更任务和零样本未见任务等各种评估设置下均实现优异性能，同时在模拟和真实环境中表现出色。视频和代码均可在：https://rich-language-failure-recovery.github.io 获取。
引用
@article{arxiv.2409.14674,
title = {RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning},
author = {Yinpei Dai and Jayjun Lee and Nima Fazeli and Joyce Chai},
journal= {arXiv preprint arXiv:2409.14674},
year = {2024}
}
备注
Project Website: https://rich-language-failure-recovery.github.io