面向语言引导的多任务机器人操作的对比模仿学习
机器人学
2024-06-17 v1 计算机视觉与模式识别
摘要
开发能够通过自然语言指令和对复杂真实环境视觉观察来执行各种操作任务的机器人仍是机器人学中的重大挑战。此类机器人代理需要理解语言命令并区分不同任务的要求。本文提出了 Sigma-Agent，这是一个用于多任务机器人操作的端到端模仿学习代理。Sigma-Agent 包含对比模仿学习 (contrastive IL) 模块，以强化视觉-语言和当前-未来表示。引入了一种有效且高效的多视图查询 Transformer (MVQ-Former) 用于聚合代表性语义信息。Sigma-Agent 在 18 个 RLBench 任务中表现出显著优于最新方法的性能，在 10 和 100 次示范训练中分别优于 RVT 平均提升 5.2% 和 5.9%。Sigma-Agent 还在 5 个真实世界操作任务中实现了 62% 的成功率。代码将在接受后公开。
关键词
引用
@article{arxiv.2406.09738,
title = {Contrastive Imitation Learning for Language-guided Multi-Task Robotic Manipulation},
author = {Teli Ma and Jiaming Zhou and Zifan Wang and Ronghe Qiu and Junwei Liang},
journal= {arXiv preprint arXiv:2406.09738},
year = {2024}
}