SpGesture：基于 Jaccard 注意力脉冲神经网络的源自由领域适应 sEMG 手势识别
人机交互
2024-10-31 v3 人工智能
信号处理
摘要
基于表面电位图谱(sEMG)的手势识别为可穿戴设备提供了一种自然直观的交互方式。尽管sEMG 手势识别模型取得了显著进展，但现有方法常常 suffer from 高计算延迟和增加的能源消耗。此外，sEMG 信号的固有不稳定性以及其对实际场景中分布迁移的敏感性，削弱了模型的鲁棒性。为解决这些挑战，我们提出了一种基于脉冲神经网络(SNN)的 novel SpGesture 框架，SpGesture 相对于现有方法具有几个独特优势：(1) 鲁棒性：通过利用膜电位作为记忆列表，我们首次将源自由领域适应引入 SNN。这使 SpGesture 能够减轻由分布迁移导致的准确度下降。(2) 高准确率：通过 novel Spiking Jaccard Attention，SpGesture 提升了 SNN 对 sEMG 特征的表示能力，显著提高了系统准确率。为验证 SpGesture 的性能，我们收集了一个包含不同前臂姿势的新型 sEMG 手势数据集，其中 SpGesture 在所有基线方法中实现了最高准确率($89.26\%)。此外，对实际部署在 CPU 上表明，系统延迟低于 100ms，完全符合实时要求。这一卓越性能展示了 SpGesture 提升 sEMG 在实际场景中应用潜力的可能性。代码可在 https://github.com/guoweiyu/SpGesture/ 获取。
关键词
引用
@article{arxiv.2405.14398,
title = {SpGesture: Source-Free Domain-adaptive sEMG-based Gesture Recognition with Jaccard Attentive Spiking Neural Network},
author = {Weiyu Guo and Ying Sun and Yijie Xu and Ziyue Qiao and Yongkui Yang and Hui Xiong},
journal= {arXiv preprint arXiv:2405.14398},
year = {2024}
}
备注
Accepted by NeurIPS 2024