基于进化计算与深度强化学习的机器人抓取操作

用于抓取的智能物体操作对机器人而言是一个具有挑战性的问题。与人类不同，人类由于多年的学习几乎能立即知道如何操作物体进行抓取。成年女性比儿童抓取物体更熟练，是因为多年发展起来的学习技能，而当今机器人抓取正缺乏这种技能，使其表现远不及人类物体抓取基准。在本文中，我们接受了通过分解问题为位置与朝向学习来开发基于学习的姿态估计的挑战。更具体地，对于抓取位置估计，我们探索了三种不同方法——一种基于遗传算法（GA）的优化方法以最小化计算图像点与预测末端执行器（EE）位置之间的误差，一种基于回归的方法（RM）将收集的机器人EE与图像数据点用线性模型回归，以及一种伪逆（PI）模型，其以机器人EE位置与图像点针对若干观测形成的映射矩阵给出。进一步对于抓取朝向学习，我们开发了深度强化学习（DRL）模型，命名为抓取深度Q网络（GDQN），并与改进VGG16（MVGG16）进行基准比较。严格的实验表明，由于对优化问题与搜索问题具有产生高质量解的固有能力，基于GA的预测器在位置估计上远优于其他两种模型。对于朝向学习，结果表明通过GDQN的离策略学习优于MVGG16，因为GDQN架构特别适于强化学习。基于我们提出的架构与算法，机器人能够抓取所有具有规则形状的刚体物体。