使用深度强化学习解决真实机器人挑战赛
机器人学
2022-06-29 v3 机器学习
摘要
本文详述了我们在2021年真实机器人挑战赛第一阶段获胜提交方案;该挑战要求一个三指机器人沿指定目标轨迹搬运一个立方体。为解决第一阶段,我们采用了一种纯强化学习方法,该方法仅需极少的机器人系统或一般机器人抓取方面的专家知识。采用稀疏的基于目标的奖励,结合Hindsight Experience Replay,来教导控制策略将立方体移动到目标的期望x和y坐标。同时,采用密集的基于距离的奖励来教导策略将立方体提升到目标的z坐标(高度分量)。该策略在具有域随机化的仿真中训练,然后转移到真实机器人上进行评估。尽管性能在此转移后往往变差,我们的最佳策略能通过有效的捏取抓取成功沿目标轨迹提升真实立方体。我们的方法优于所有其他提交方案,包括那些利用更传统机器人控制技术的方案,并且是首个解决该挑战的纯基于学习的方法。
引用
@article{arxiv.2109.15233,
title = {Solving the Real Robot Challenge using Deep Reinforcement Learning},
author = {Robert McCarthy and Francisco Roldan Sanchez and Qiang Wang and David Cordova Bulens and Kevin McGuinness and Noel O'Connor and Stephen J. Redmond},
journal= {arXiv preprint arXiv:2109.15233},
year = {2022}
}
备注
Published in AICS 2021 (http://ceur-ws.org/Vol-3105/paper41.pdf). Paper updated to clarify procedure used to train the policy