面向机器人操作的鲁棒视觉仿真到现实迁移
机器人学
2023-07-31 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
在仿真中学习视觉运动策略比在真实世界中更安全、更廉价。然而，由于仿真数据与真实数据之间存在差异，在仿真中训练的策略迁移到真实机器人时往往失效。弥合视觉仿真到现实（sim-to-real）领域差距的一种常用方法是域随机化（DR）。虽然以往工作主要评估用于无实体任务（如位姿估计和物体检测）的 DR，但在此我们系统性地探索视觉域随机化方法，并在一组丰富的具有挑战性的机器人操作任务上对其进行基准测试。具体而言，我们提出一种立方体定位的离线代理任务，用于选择纹理随机化、光照随机化、物体颜色变化和相机参数的 DR 参数。值得注意的是，我们证明了 DR 参数对我们的离线代理任务和在线策略具有相似的影响。因此，我们使用离线优化的 DR 参数在仿真中训练视觉运动策略，并将此类策略直接应用于真实机器人。我们的方法在多样化且具有挑战性的操作任务测试上平均达到 93% 的成功率。此外，我们评估了策略对真实场景视觉变化的鲁棒性，并表明我们仿真训练的策略优于使用真实但有限数据学习的策略。代码、仿真环境、真实机器人数据集和训练好的模型见 https://www.di.ens.fr/willow/research/robust_s2r/。
引用
@article{arxiv.2307.15320,
title = {Robust Visual Sim-to-Real Transfer for Robotic Manipulation},
author = {Ricardo Garcia and Robin Strudel and Shizhe Chen and Etienne Arlaud and Ivan Laptev and Cordelia Schmid},
journal= {arXiv preprint arXiv:2307.15320},
year = {2023}
}