无需视觉的抓取学习

机器人能否在看不见物体的情况下抓取未知物体？在本文中，我们提出一种基于触觉感知的方法来解决这一在不预先知晓物体位置或物理属性情况下抓取新物体的挑战性问题。我们的核心思想是将基于触摸的物体定位与基于触觉的重新抓取相结合。为训练我们的学习模型，我们创建了一个大规模抓取数据集，包含来自 52 个物体 7800 次抓取交互的超过 30 帧 RGB 图像与逾 280 万触觉样本。为学习触觉信号的表示，我们提出一种无监督自编码方案，其在多种触觉感知任务上较先前方法取得 4–9% 的显著提升。我们的系统包含两步。首先，我们的触摸定位模型依次“触摸扫描”工作空间，并使用粒子滤波器聚合来自目标多次命中的置信度，输出物体位置估计，并据此建立初始抓取。接着，我们的重新抓取模型基于所学特征利用触觉反馈渐进式改进抓取。该网络学习估计抓取稳定性并预测下一次抓取的调整。因此重新抓取被迭代执行，直至我们的模型识别出稳定抓取。最后，我们展示了仅使用触觉感知抓取大量新物体的广泛实验结果。此外，当置于基于视觉的策略之上时，我们的重新抓取模型将总体准确率显著提升 10.6%。我们相信这是仅借助触觉感知且无需任何物体先验知识来学习抓取的首次尝试。