比较任务简化方法以利用深度强化学习学习闭环物体抓取
机器人学
2019-02-01 v2
摘要
使自主机器人能够在具有动态物体的非结构环境中交互，需要能够处理杂乱、变化和物体可变性的操作能力。本文提出了一种基于不同强化学习方法的机械臂物体抓取比较研究。我们学习将深度相机输入映射为运动指令的闭环策略，并比较保持问题可处理的多种方法，包括奖励塑形、课程学习以及使用在动作集简化的任务上预训练的策略来热启动完整问题。为高效且更灵活地收集数据，我们在仿真中训练并将策略迁移至真实机器人。我们表明，使用课程学习时，以稀疏奖励公式学习的策略可达到与塑形奖励相近的训练速度。这些策略的成功率与在简化任务上初始化的策略相当。我们仅对深度图像滤波做微小修改便成功地将这些策略迁移到真实机器人。我们发现，使用启发式方法热启动训练有助于强化期望行为，而通过课程从零开始训练的策略更善于应对物体被移除的未知场景。
引用
@article{arxiv.1803.04996,
title = {Comparing Task Simplifications to Learn Closed-Loop Object Picking Using Deep Reinforcement Learning},
author = {Michel Breyer and Fadri Furrer and Tonci Novkovic and Roland Siegwart and Juan Nieto},
journal= {arXiv preprint arXiv:1803.04996},
year = {2019}
}
备注
8 pages, video available at https://youtu.be/ii16Zejmf-E