用于触觉纹理识别的多模态零样本学习
机器人学
2023-06-23 v1
摘要
触觉感知在机器人材料识别中起着不可替代的作用。它使机器人能够区分材料的局部几何与纹理等属性，尤其对于纺织品这类材料。然而，大多数触觉识别方法只能分类已用触觉数据接触并训练的已知材料，无法分类未用触觉数据训练的未知材料。为解决此问题，我们提出一种触觉零样本学习框架，在首次接触未知材料时无需训练触觉样本即可识别。提供视觉触觉线索的视觉模态与给出高层特征的语义属性被结合到一起，以弥合已接触类别与未接触类别之间的鸿沟。学习一个生成模型，根据相应的视觉图像与语义嵌入合成触觉特征，随后可利用未接触材料的合成触觉特征训练分类器以实现零样本识别。大量实验表明，我们提出的多模态生成模型在对先前未接触材料的分类中可达到83.06%的高识别准确率。机器人实验演示与数据集见 https://sites.google.com/view/multimodalzsl。
引用
@article{arxiv.2306.12705,
title = {Multimodal Zero-Shot Learning for Tactile Texture Recognition},
author = {Guanqun Cao and Jiaqi Jiang and Danushka Bollegala and Min Li and Shan Luo},
journal= {arXiv preprint arXiv:2306.12705},
year = {2023}
}
备注
Under review at Robotics and Autonomous Systems