利用强化学习建模广义力以实现仿真到真实的策略迁移
机器人学
2019-10-22 v1 机器学习
摘要
在真实世界中学习机器人控制策略会带来数据效率、安全性以及系统初始条件控制等方面的挑战。另一方面，仿真是一种有用的替代方案，因为它们提供了不受真实世界限制的大量数据来源。遗憾的是，仿真往往无法准确建模复杂的真实世界现象。传统的系统辨识技术在表达能力上受限于解析模型参数，通常不足以捕捉此类现象。本文提出一个通用框架，通过优化状态相关的广义力来改进解析模型。状态相关的广义力具有足够的表达能力来建模运动方程中的约束，同时保持清晰的物理意义和直观性。我们使用强化学习在折扣无限时域上高效地优化从状态到广义力的映射。我们表明，仅使用几分钟的真实世界数据即可改善仿真到真实的控制策略迁移。我们通过在 Sawyer 机器人上执行非抓取操作任务来验证我们方法的可行性。
引用
@article{arxiv.1910.09471,
title = {Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer},
author = {Rae Jeong and Jackie Kay and Francesco Romano and Thomas Lampe and Tom Rothorl and Abbas Abdolmaleki and Tom Erez and Yuval Tassa and Francesco Nori},
journal= {arXiv preprint arXiv:1910.09471},
year = {2019}
}