基于神经形态硬件的美国手语静态手势识别
机器学习
2022-10-04 v3 人工智能
计算机视觉与模式识别
人机交互
神经与进化计算
摘要
本文针对两项美国手语（ASL）静态手势分类任务（即 ASL 字母表和 ASL 数字）开发了四种脉冲神经网络（SNN）模型。这些 SNN 模型部署于 Intel 的神经形态平台 Loihi 上，并与部署在边缘计算设备 Intel Neural Compute Stick 2（NCS2）上的等效深度神经网络（DNN）模型进行比较。我们在准确率、延迟、功耗和能耗方面对两套系统进行了全面比较。最佳 DNN 模型在 ASL 字母表数据集上达到 99.93% 的准确率，而性能最佳的 SNN 模型准确率为 99.30%。对于 ASL-Digits 数据集，最佳 DNN 模型达到 99.76% 的准确率，而 SNN 达到 99.03%。此外，我们的实验结果表明，与 NCS2 相比，Loihi 神经形态硬件实现在功耗和能耗上分别实现了高达 20.64 倍和 4.10 倍的降低。
引用
@article{arxiv.2207.12559,
title = {Static Hand Gesture Recognition for American Sign Language using Neuromorphic Hardware},
author = {MohammadReza Mohammadi and Peyton Chandarana and James Seekings and Sara Hendrix and Ramtin Zand},
journal= {arXiv preprint arXiv:2207.12559},
year = {2022}
}
备注
Authors MohammedReza Mohammadi, and Peyton Chandarana contributed equally