用于仿真到现实迁移的强化接地动作变换
机器人学
2020-08-05 v1
摘要
机器人可以在仿真中学习执行复杂任务，但由于仿真器的不完美（现实差距），学到的行为往往不能很好地迁移到真实世界。针对这一仿真到现实问题，一些现有方案（如接地动作变换（GAT））利用少量真实世界经验，通过接地仿真器来最小化现实差距。尽管在某些场景下非常有效，GAT 在使用复杂函数逼近技术建模策略的问题上并不鲁棒。本文提出强化接地动作变换（RGAT），一种新的仿真到现实技术，它使用强化学习（RL）不仅在仿真中更新目标策略，还直接执行接地步骤本身。这一新颖形式允许在接地步骤中进行端到端训练，与 GAT 相比，能产生更好的接地仿真器。此外，我们在多个 MuJoCo 领域中通过实验表明，我们的方法对于使用神经网络建模的策略能够实现成功的迁移。
引用
@article{arxiv.2008.01279,
title = {Reinforced Grounded Action Transformation for Sim-to-Real Transfer},
author = {Haresh Karnan and Siddharth Desai and Josiah P. Hanna and Garrett Warnell and Peter Stone},
journal= {arXiv preprint arXiv:2008.01279},
year = {2020}
}
备注
Accepted at International Conference on Intelligent Robots and Systems (IROS) 2020