面向有效 Sim2Real 迁移的干预设计
机器人学
2020-12-04 v1 机器学习
摘要
本工作的目标是探讨域随机化和数据增强在 sim2real 设定下近期成功的原因。我们通过因果推断的视角解释这一成功，将域随机化和数据增强定位为对环境的干预，这些干预鼓励对无关特征保持不变性。此类干预包括不影响奖励和动力学的视觉扰动。这鼓励学习算法对这些类型的变异具有鲁棒性，并学会关注解决任务的真实因果机制。这一联系带来了两个关键发现：(1) 对环境的扰动不必逼真，只需在真实世界中也变化的维度上展示变化即可；(2) 使用显式的不变性诱导目标，在 sim2sim 和 sim2real 迁移设定中比仅使用数据增强或域随机化本身更能改善泛化。我们通过在 7 自由度 Jaco 机械臂上从像素观测学习并执行零样本迁移机械臂抓取任务，展示了方法的能力。
引用
@article{arxiv.2012.02055,
title = {Intervention Design for Effective Sim2Real Transfer},
author = {Melissa Mozifian and Amy Zhang and Joelle Pineau and David Meger},
journal= {arXiv preprint arXiv:2012.02055},
year = {2020}
}