基于SpinNaker的神经形态视觉注意力用于手语识别
计算机视觉与模式识别
2026-05-08 v1
摘要
手语识别在最近几年实现了显著的分类准确率提升；然而，大多数现有方法的延迟和功耗限制了其适用于实时部署的潜力。神经形态感知和处理提供了一种基于稀疏、事件驱动计算的替代范式，支持低延迟和高效感知。本文我们引入了一个用于美国手语（ASL）手写字母识别的端到端神经形态体系结构，该体系结构集成了用于在线区域兴趣提取的脉冲视觉注意力机制，并部署在SpinNaker神经形态平台上。我们对该系统进行基准测试，使用两个数据集：一个合成生成的基于事件的Sign Language MNIST数据集和一个原生记录的ASL-DVS数据集，同时提供关于手语识别及相关工作的全面概述。该工作在仿真中实现了竞争性能（92.27%），在神经形态硬件部署中实现了相当的性能（83.1%），同时实现了最能源效益的体系结构（0.565 mW）和低延迟（3 ms），在所有基准方法中。尽管其紧凑的设计，该系统显示出了面向边缘部署的任务依赖视觉注意力应用的适合性。
引用
@article{arxiv.2605.06005,
title = {Neuromorphic visual attention for Sign-language recognition on SpiNNaker},
author = {Sarka Liskova and Olha Vedmedenko and Mazdak Fatahi and Matej Hoffmann and P. Michael Furlong and Giulia D Angelo},
journal= {arXiv preprint arXiv:2605.06005},
year = {2026}
}