一种跨模态物体识别的迁移学习方法：从视觉观察到机器人触觉探索
机器人学
2020-01-22 v1 计算机视觉与模式识别
摘要
在本工作中，我们提出了具有机器人主动探索的跨模态视觉-触觉物体识别问题。我们以此术语表示，机器人通过视觉感知观察一组物体，随后仅借助触觉探索即可识别这些物体，而此前并未触摸过任何物体。使用机器学习术语来说，在我们的应用中，我们有一个视觉训练集和一个触觉测试集，或反之。为应对该问题，我们提出了一种由四个步骤构成的方法：寻找视觉-触觉共同表示、定义合适的特征集合、跨域迁移特征，以及对物体进行分类。我们使用一组15个物体展示了该方法的结果，为每个物体采集了40个视觉样本和5个触觉样本。所提方法达到了94.7%的准确率，这与单模态情形（即训练集和测试集均使用视觉数据）的准确率相当。此外，与人的能力相比它也表现良好，我们通过对十名参与者进行实验对其进行了粗略估计。
引用
@article{arxiv.2001.06673,
title = {A Transfer Learning Approach to Cross-Modal Object Recognition: From Visual Observation to Robotic Haptic Exploration},
author = {Pietro Falco and Shuang Lu and Ciro Natale and Salvatore Pirozzi and Dongheui Lee},
journal= {arXiv preprint arXiv:2001.06673},
year = {2020}
}