基于低成本单光子雾化二极管阵列的脉冲神经网络增强手势识别
计算机视觉与模式识别
2024-02-09 v1 图像与视频处理
摘要
我们提出了一种紧凑的脉冲卷积神经网络 (SCNN) 和脉冲多层感知器 (SMLP) 用于在暗光和亮光环境中识别十种手势，采用 单光子雾化二极管 (SPAD) 阵列。在我们的手势识别 (HGR) 系统中，利用了光子强度数据进行训练和测试。还实现了一个 vanilla 卷积神经网络 (CNN) 用于与 SCNN 进行性能比较。我们的 SCNN 是从头训练的，而非来自 CNN 的转换。在暗光和环境光 (AL) 损坏环境中对三个模型进行了测试。结果表明，SCNN 在准确率上（90.8%）与 CNN（92.9%）相当，并且仅需 8 个时间步即可实现更低的浮点运算。SMLP 也在计算负载和准确率之间提供了权衡。本工作的代码和收集的数据集均可在 https://github.com/zzy666666zzy/TinyLiDAR_NET_SNN 上获取。
引用
@article{arxiv.2402.05441,
title = {Spiking Neural Network Enhanced Hand Gesture Recognition Using Low-Cost Single-photon Avalanche Diode Array},
author = {Zhenya Zang and Xingda Li and David Day Uei Li},
journal= {arXiv preprint arXiv:2402.05441},
year = {2024}
}
备注
9 pages, 5 figures