用于机器人操作的多模态传感器设计与基准测试：基于GAN的跨模态解释
机器人学
2025-01-07 v1 信号处理
摘要
在本文中，我们介绍了一种创新传感器ViTacTip的设计和基准测试，该传感器以紧凑设计满足先进多模态传感的需求。ViTacTip的一个显著特征是其透明皮肤，其中包含“透视皮肤”机制。该机制旨在捕捉接触时的详细物体特征，显著增强基于视觉和接近感知的能力。同时，嵌入传感器皮肤中的仿生尖端旨在放大接触细节，从而大幅增强触觉和衍生力感知能力。为了展示ViTacTip的多模态能力，我们开发了一个多任务学习模型，能够同时识别硬度、材料和纹理。为了评估功能并验证ViTacTip的通用性，我们进行了广泛的基准测试实验，包括物体识别、接触点检测、姿态回归和光栅识别。为了促进各种传感模态之间的无缝切换，我们采用了基于生成对抗网络（GAN）的方法。该方法通过实现跨模态解释，增强了ViTacTip传感器在不同环境中的适用性。
引用
@article{arxiv.2501.02303,
title = {Design and Benchmarking of A Multi-Modality Sensor for Robotic Manipulation with GAN-Based Cross-Modality Interpretation},
author = {Dandan Zhang and Wen Fan and Jialin Lin and Haoran Li and Qingzheng Cong and Weiru Liu and Nathan F. Lepora and Shan Luo},
journal= {arXiv preprint arXiv:2501.02303},
year = {2025}
}
备注
Accepted by IEEE Transactions on Robotics