RoVi-Aug：跨具身机器人学习的机器人与视角增强
机器人学
2024-09-10 v2
摘要
规模化机器人学习需要大量且多样化的数据集，而如何高效地重用收集的数据并将策略迁移到新具身形式仍是一个开放问题。Open-X Embodiment（OXE）项目等新兴研究已在结合包括不同机器人的数据集以利用技能方面显示出前景。然而，许多数据集中机器人类型和摄像机角度分布的不平衡会导致策略容易过拟合。为缓解这一问题，我们提出了 RoVi-Aug，通过利用最先进的图像到图像生成模型对机器人数据进行增强，以合成不同机器人和摄像机视角的演示。通过大量物理实验，我们展示了，通过训练机器人和视角增强的数据，RoVi-Aug 能在零样本情况下部署到一个与摄像机角度显著不同的未知机器人上。相较于诸如 Mirage 等测试时适应算法，RoVi-Aug 在测试时不需要额外处理，不假设已知摄像机角度，并且允许策略微调。此外，通过在原始和增强后的机器人数据集上共同训练，RoVi-Aug 能够学习多机器人和多任务策略，实现更高效的机器人和技能之间的迁移，并将成功率提升最高可达 30%。项目网站：https://rovi-aug.github.io。
引用
@article{arxiv.2409.03403,
title = {RoVi-Aug: Robot and Viewpoint Augmentation for Cross-Embodiment Robot Learning},
author = {Lawrence Yunliang Chen and Chenfeng Xu and Karthik Dharmarajan and Muhammad Zubair Irshad and Richard Cheng and Kurt Keutzer and Masayoshi Tomizuka and Quan Vuong and Ken Goldberg},
journal= {arXiv preprint arXiv:2409.03403},
year = {2024}
}
备注
CoRL 2024 (Oral). Project website: https://rovi-aug.github.io