自动调参的仿真到真实迁移
机器人学
2021-05-21 v2 人工智能
计算机视觉与模式识别
人机交互
机器学习
摘要
在仿真中训练的策略由于“现实差距”（即仿真器无法准确捕捉真实世界的动力学与视觉属性）在迁移到真实世界时往往失败。当前解决该问题的方法（如域随机化）需要先验知识与工程经验来确定系统参数随机化的程度，以学习对仿真到真实迁移鲁棒且不过于保守的策略。我们提出一种仅使用真实世界原始 RGB 图像、无需定义奖励或估计状态即可自动调整仿真器系统参数以匹配真实世界的方法。我们的核心见解是将参数自动调优重构为一个搜索问题，其中迭代地偏移仿真系统参数以逼近真实世界系统参数。我们提出一个搜索参数模型（SPM），其在给定观测与动作序列及一组系统参数时，预测给定参数是高于还是低于用于生成观测的真实参数。我们在仿真到仿真与仿真到真实迁移的多个机器人控制任务上评估了我们的方法，展示了相较朴素域随机化的显著改进。项目视频与代码见 https://yuqingd.github.io/autotuned-sim2real/
引用
@article{arxiv.2104.07662,
title = {Auto-Tuned Sim-to-Real Transfer},
author = {Yuqing Du and Olivia Watkins and Trevor Darrell and Pieter Abbeel and Deepak Pathak},
journal= {arXiv preprint arXiv:2104.07662},
year = {2021}
}
备注
ICRA 2021. First two authors contributed equally. Website at https://yuqingd.github.io/autotuned-sim2real/