真实世界 Ball-in-a-Cup 中视觉与基于特征的控制策略的同步学习
机器学习
2019-02-20 v2 机器人学
机器学习
摘要
我们提出一种在真实机器人上快速训练基于视觉的控制策略的方法。我们方法的核心思想是通过辅助任务执行多任务强化学习，这些辅助任务不仅在待优化奖励上不同，还在其所处的状态空间上不同。具体而言，我们允许辅助任务策略利用仅在训练时可用的任务特征。这使得辅助策略能够快速学习，进而为训练主要的基于视觉的控制策略生成良好数据。该方法可视为调度辅助控制（SAC-X）框架的扩展。我们通过由机械臂控制的模拟与真实世界 Ball-in-a-Cup 游戏证明了方法的有效性。在模拟中，与标准 SAC-X 相比，我们的方法带来了显著的学习加速。在真实机器人上，我们展示了该任务可从零开始学习，即无仿真迁移且无模仿学习。我们在真实机器人上运行的学习策略视频可见 https://sites.google.com/view/rss-2019-sawyer-bic/。
引用
@article{arxiv.1902.04706,
title = {Simultaneously Learning Vision and Feature-based Control Policies for Real-world Ball-in-a-Cup},
author = {Devin Schwab and Tobias Springenberg and Murilo F. Martins and Thomas Lampe and Michael Neunert and Abbas Abdolmaleki and Tim Hertweck and Roland Hafner and Francesco Nori and Martin Riedmiller},
journal= {arXiv preprint arXiv:1902.04706},
year = {2019}
}
备注
Videos can be found at https://sites.google.com/view/rss-2019-sawyer-bic/