利用触觉传感器实现用于假肢与机器人应用的低延迟嵌入式智能手

触觉感知对于需要控制假肢设备的机器人和人类截肢者而言是一种关键的感知模式。当今的机器人和假肢系统仍然缺乏精确的触觉感知这一重要特征。这一缺失主要源于现有触觉技术在空间和时间分辨率上有限，并且要么昂贵要么不可扩展。在本文中，我们提出了一个名为 SmartHand 的硬件-软件嵌入式系统的设计与实现。它专为从手形多传感器阵列获取并实时处理高分辨率触觉信息而设计，用于假肢和机器人应用。在数据收集期间，我们的系统可交付每秒 100 帧的高吞吐量，比先前相关工作高 13.7 倍。我们在五个不同会话中与日常物品交互时收集了一个新的触觉数据集。我们提出了一种紧凑而准确的卷积神经网络，与相关工作相比所需内存少一个数量级、计算量少 15.6 倍，且不降低分类精度。Top-1 和 top-3 交叉验证准确率分别为 98.86% 和 99.83%。我们进一步分析了会话间变异性，获得了 77.84% 的最佳 top-3 留一验证准确率。我们将训练好的模型部署在高性能 ARM Cortex-M7 微控制器上，实现了仅 100 ms 的推理时间，最小化了响应延迟。整体测得功耗为 505 mW。最后，我们制作了一种新的控制传感器并进行了额外实验，以对传感器退化和滑移检测提供分析。这项工作是让机器人和假肢设备获得触觉感知向前迈出的一步，并展示了由微型机器学习赋能的智能嵌入式系统的实用性。