面向自主机器人操作的实时深度学习视觉伺服控制与抓取检测方法

为了探索非结构化动态环境中的机器人抓取，本文研究工作所涉及的视觉感知阶段。该阶段包括处理视觉数据以获取待抓取物体的位置、姿态以及机器人夹爪为确保稳定抓取必须接触的点。为此，使用 Cornell Grasping 数据集训练一个卷积神经网络，该网络在给定机器人工作空间中存在某物体的图像时，能够预测一个抓取矩形，象征夹爪闭合前的位置、方向和张开程度。除这个实时运行的网络外，还设计了另一个网络来处理物体在环境中移动的情况。因此，第二个网络被训练用于执行视觉伺服控制，确保物体始终处于机器人的视野内。该网络预测相机必须具有的线速度和角速度的比例值，以使物体始终位于被抓取网络处理的图像中。用于训练的数据集由 Kinova Gen3 机械臂自动生成。该机器人还用于评估实时适用性并从所设计算法中获得实际结果。此外，通过验证集获得的离线结果也针对其效率和处理速度进行了分析和讨论。所开发的控制器在考虑首次见到的目标物体时，在最终位置上达到了毫米级精度。据我们所知，文献中尚未发现其他从头学习的控制器能达到如此精度。因此，本工作提出了一种具有高处理速度且能泛化到多种不同物体的自主机器人操作新系统。