基于Transformer的Surformer v1：用于触觉和视觉特征的表面分类

表面材料识别是机器人感知和物理交互中的关键组成部分，尤其是在利用触觉和视觉感知输入时。本文提出了Surformer v1，一个基于Transformer的架构，用于使用通过ResNet-50提取的结构化触觉特征和PCA降维后的视觉嵌入进行表面分类。该模型集成了特定于模态的编码器和跨模态注意力层，使视觉和触觉能够实现丰富的交互。当前，针对视觉任务的最先进深度学习模型已取得显著性能。鉴于此，我们的第一组实验仅针对触觉-表面分类进行了研究。通过特征工程，我们训练和评估了多种机器学习模型，评估其准确率和推理时间。随后，我们实现了一个专为触觉特征量身定制的仅编码器Transformer模型。该模型不仅实现了最高的准确率，还显示出比其他评估模型显著更快的推理时间，凸显其在实时应用中的潜力。为扩展此调查，我们引入了将视觉和触觉输入组合的多模态融合方案。我们分别训练了Surformer v1（使用结构化特征）和多模态CNN（使用原始图像），以检验基于特征的与基于图像的多模态学习对分类准确率和计算效率的影响。结果显示，Surformer v1实现了99.4%的准确率，推理时间为0.77毫秒，而多模态CNN虽实现了略高的准确率，但需要显著更长的推理时间。这些发现表明，Surformer v1在表面材料识别方面在准确率、效率和计算成本之间提供了引人注目的平衡。