Mirage：基于交叉绘画的跨实体零样本策略迁移
机器人学
2024-09-10 v3
摘要
在机器人之间重用收集的数据和迁移训练好的策略的能力可以减轻额外数据收集和训练的负担。尽管现有方法如预训练加微调和协同训练显示出前景，但它们不能泛化到训练中未见过的机器人。本文聚焦于具有相似工作空间和两指夹爪的常见机器人手臂，研究零样本迁移的可行性。通过对8个操作任务的仿真研究，我们发现基于状态笛卡尔控制策略在考虑前向动力学后可以成功零样本迁移到目标机器人。为了解决基于视觉的策略中机器人视觉差异问题，我们引入了Mirage，它在执行过程中实时使用“交叉绘画”——遮罩未见过的目标机器人并修复见过的源机器人——使得策略看起来像是训练过的源机器人在执行任务。Mirage适用于第一人称和第三人称相机视角，以及同时输入状态和图像或仅输入图像的策略。尽管简单，我们广泛的仿真和物理实验提供了强有力的证据，表明Mirage可以在不同的机器人手臂和夹爪之间成功实现零样本迁移，在多种操作任务（如拾取、堆叠和组装）上仅有极小的性能下降，显著优于通用策略。项目网站：https://robot-mirage.github.io/
引用
@article{arxiv.2402.19249,
title = {Mirage: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting},
author = {Lawrence Yunliang Chen and Kush Hari and Karthik Dharmarajan and Chenfeng Xu and Quan Vuong and Ken Goldberg},
journal= {arXiv preprint arXiv:2402.19249},
year = {2024}
}
备注
RSS 2024. Project page: https://robot-mirage.github.io/