基于视觉-触觉的多尺度时间卷积网络滑移检测
机器人学
2023-02-28 v1
摘要
人类能够通过视觉和触觉感知准确判断手中物体是否发生滑移。然而，对于机器人而言，通过视觉-触觉融合来检测手中物体滑移仍是一项挑战。针对该问题，本文提出一种新颖的视觉-触觉融合深度神经网络用于检测滑移，滑移是一种与时间相关的连续动作。通过使用多尺度时间卷积网络（MS-TCN）提取视觉与触觉数据的时间特征，可有效检测滑移。本文采用配备相机与触觉传感器的7自由度（7-DoF）机器人机械臂，对50个形状、材料、尺寸和重量各异的日常物体进行数据采集，由此构建了一个数据集，其中40个物体的抓取数据用于网络训练，10个物体用于网络测试。基于所提模型的检测准确率达96.96%。此外，在采集的数据集和采用GelSight触觉传感器的公开数据集上，将所提模型与基于长短期记忆网络（LSTM）的视觉-触觉融合深度神经网络（DNN）进行对比，结果表明所提模型在两个数据集上均表现更优。该模型可帮助机器人可靠抓取日常物体，还可用于抓取力控制、抓取策略生成和灵巧操作。
引用
@article{arxiv.2302.13564,
title = {Visuo-Tactile-Based Slip Detection Using A Multi-Scale Temporal Convolution Network},
author = {Junli Gao and Zhaoji Huang and Zhaonian Tang and Haitao Song and Wenyu Liang},
journal= {arXiv preprint arXiv:2302.13564},
year = {2023}
}