含轴突延迟的脉冲神经网络效率实证研究及算法-硬件基准测试
新兴技术
2023-09-12 v1
摘要
轴突突触延迟在人工神经网络效能与性能中的作用在很大程度上未被探索。在基于步长的模拟值神经网络模型(ANNs)中,这一概念几乎缺失。在其受脉冲神经科学启发的对应模型中,几乎没有关于其对模型精度和突触操作数方面性能影响的系统性说明。本文提出了一种在深度脉冲神经网络(SNNs)训练循环中考虑轴突延迟的方法,旨在高效解决具有丰富时间依赖性的机器学习任务。随后,我们对轴突延迟在推理阶段对模型性能的影响进行了实证研究,涉及Adding任务(一种序列回归基准)和Spiking Heidelberg Digits数据集(SHD,常用于评估事件驱动模型)。在SHD上的定量结果表明,采用轴突延迟而非显式循环突触的SNNs达到了最先进水平,测试精度超过90%,同时所需可训练突触少于一半。此外,我们基于突触操作数和参考GF-22nm FDX CMOS技术,估算了在现代神经形态加速器上承载此类延迟训练模型所需的内存(以总参数量计)与能耗。结果表明,在 aforementioned 任务中性能相近的情况下,引入轴突延迟的精简参数化可使数字硬件实现中的能耗与内存降低约90%。
引用
@article{arxiv.2309.05345,
title = {Empirical study on the efficiency of Spiking Neural Networks with axonal delays, and algorithm-hardware benchmarking},
author = {Alberto Patiño-Saucedo and Amirreza Yousefzadeh and Guangzhi Tang and Federico Corradi and Bernabé Linares-Barranco and Manolis Sifalakis},
journal= {arXiv preprint arXiv:2309.05345},
year = {2023}
}