当仿生计算遇见深度学习：源自人工神经网络的低延迟、高精度与高能效脉冲神经网络
计算机视觉与模式识别
2023-12-13 v1
摘要
受生物学启发的脉冲神经网络在部署于神经形态硬件时，目前展现出与复杂的卷积神经网络相当的准确度，同时具备出色的能效和延迟效率。特别是，ANN-to-SNN转换在开发具有接近最先进测试准确度的深度SNN以处理复杂图像识别任务方面，近期获得了显著关注。然而，先进的ANN-to-SNN转换方法表明，对于无损转换，SNN时间步数必须等于ANN激活函数中的量化步数。减少时间步数会显著增加转换误差。此外，在神经形态芯片中主导计算能耗的SNN脉冲活动，并不会随时间步数成比例减少。为了缓解准确度问题，我们提出了一种新颖的ANN-to-SNN转换框架，与SOTA转换方法所需的相比，其时间步数呈指数级降低。我们的框架以相同的复杂度修改了SNN的整合放电神经元模型，并移动了训练好的ANN中每个批归一化层的偏置项。为了缓解脉冲活动问题，我们提出使用带有替代梯度的细粒度L1正则化器训练源ANN，以鼓励转换后的SNN具有高脉冲稀疏性。因此，得益于超低时间步和高脉冲稀疏性，我们提出的框架生成了具有超低延迟、超低计算能耗以及超高测试准确度的无损SNN，例如，在ImageNet数据集上仅使用4个时间步即达到73.30%的准确度。
关键词
引用
@article{arxiv.2312.06900,
title = {When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate, & Energy-Efficient Spiking Neural Networks from Artificial Neural Networks},
author = {Gourav Datta and Zeyu Liu and James Diffenderfer and Bhavya Kailkhura and Peter A. Beerel},
journal= {arXiv preprint arXiv:2312.06900},
year = {2023}
}
备注
Under review