真实世界机器人强化学习的要素

强化学习在真实世界机器人中的应用成功，在许多情况下仅限于仪器化的实验室场景，往往需要经过艰苦的人力投入与监督才能实现持续学习。在本工作中，我们讨论了机器人学习系统所需的要素，该系统能够利用真实世界中收集的数据持续且自主地改进。我们提出了此类系统的一个具体实例，并以灵巧操作为案例研究。随后，我们研究了在无仪器化条件下学习时所出现的若干挑战。在此类设置中，学习必须能够在无需手动设计的重置、仅使用板载感知且无需手工设计奖励函数的情况下进行。我们针对这些挑战提出了简单且可扩展的解决方案，然后在一组灵巧机器人操作任务上展示了我们所提出系统的有效性，并对与该学习范式相关的挑战进行了深入分析。我们证明了我们的完整系统可在无任何人为干预的情况下学习，利用真实世界的三指机械手掌握多种基于视觉的技能。结果与视频可在 https://sites.google.com/view/realworld-rl/ 查看。