通过触摸学习识别物体实例：基于多模态匹配的触觉识别

机器人感知的文献多聚焦于视觉模态。视觉提供对场景的全局观测，因而具有广泛用途。然而，在机器人操作领域，仅凭视觉有时显得不足：在存在遮挡或光照不佳的情况下，视觉物体识别可能较为困难。触觉可为机器人提供识别物体的替代机制。本文研究基于触摸的实例识别问题。我们提出将该问题新颖地框定为多模态识别：系统的目标是在给定视觉与触觉观测时，判断这些观测是否对应同一物体。据我们所知，我们的工作是首个在如此大规模上解决此类多模态实例识别问题的研究，分析涵盖 98 个不同物体。我们采用装备两个 GelSight 触觉传感器的机器人（每指一个）以及自监督自主数据收集流程来采集触觉观测与图像数据集。实验结果表明，仅通过触摸即可准确识别物体实例，包括训练期间从未见过的新物体实例。我们所学习的模型在此复杂任务上优于其他方法，包括人类志愿者的方法。