复杂动力学机器人任务中基于鲁棒化控制器的仿真到真实迁移学习
机器学习
2018-09-18 v2 机器学习
摘要
使用深度强化学习来学习机器人任务或控制器已在仿真中被证明是有效的。在仿真中学习具有若干优势。例如，可以完全控制仿真环境，包括在计算时暂停运动。当涉及机器人时，另一个优势是机器人忙于学习任务而非工作生产的时间，可通过将所学任务迁移到真实机器人而减少。迁移学习需要在真实机器人上进行一定量的微调。对于涉及复杂（非线性）动力学的任务，微调本身可能耗费大量时间。为减少微调量，我们提出在仿真中学习鲁棒化控制器。鲁棒化控制器通过利用可改变仿真参数（外观与动力学）以用于连续训练回合的能力来学习。该方法的额外好处是减轻了对模拟器物理参数的精确确定，这是一项非平凡的任务。我们在一个真实装置上演示了所提方法：机器人旨在解决迷宫游戏，由于静摩擦和潜在的大加速度而涉及复杂动力学。我们表明，相较于非鲁棒化控制器，鲁棒化控制器的迁移学习微调量大幅减少。
引用
@article{arxiv.1809.04720,
title = {Sim-to-Real Transfer Learning using Robustified Controllers in Robotic Tasks involving Complex Dynamics},
author = {Jeroen van Baar and Alan Sullivan and Radu Cordorel and Devesh Jha and Diego Romeres and Daniel Nikovski},
journal= {arXiv preprint arXiv:1809.04720},
year = {2018}
}
备注
7 pages