我该触碰何处？用于透明物体抓取的视觉引导触觉戳刺

拾取透明物体对机器人而言仍是一项挑战性任务。透明物体的反射与折射等视觉特性使得当前依赖相机感知的抓取方法无法检测并定位它们。然而，人类可通过先观察其粗略轮廓、再戳刺感兴趣区域以获取精细轮廓用于抓取，从而很好地处理透明物体。受此启发，我们提出一种用于透明物体抓取的视觉引导触觉戳刺新框架。在该框架中，首先使用分割网络预测称为戳刺区域的水平上方区域，机器人可戳刺该区域以获得良好触觉读数，同时对物体状态扰动最小。随后使用高分辨率 GelSight 触觉传感器执行戳刺。鉴于由触觉读数改善的局部轮廓，规划启发式抓取以抓取透明物体。为缓解透明物体真实世界数据收集与标注的局限，我们构建了一个大规模逼真合成数据集。大量实验表明，我们提出的分割网络能以 0.360 的高平均精度均值（mAP）预测潜在戳刺区域，且视觉引导触觉戳刺能将抓取成功率从 38.9% 显著提升至 85.2%。得益于其简洁性，我们提出的方法也可被其他力或触觉传感器采用，并可用于其他挑战性物体的抓取。本文所用全部材料见 https://sites.google.com/view/tactilepoking。