通过显式建模人工神经网络中的残差误差实现高性能低延迟脉冲神经网络转换
神经与进化计算
2024-04-29 v1
摘要
脉冲神经网络（SNNs）因其相比传统人工神经网络（ANNs）在神经形态芯片上的能效和卓越效能而备受关注。实现深度SNNs的主流方法之一是ANN-SNN转换，它结合了ANNs的高效训练策略与SNNs的节能潜力和快速推理能力。然而，在极低延迟条件下，现有转换理论表明，SNNs中残差膜电位的错误表示问题，即具有减法重置机制的IF神经元无法响应超出静息电位到阈值范围的残余膜电位，导致转换后的SNNs与原始ANNs之间存在性能差距。这严重限制了SNNs在对延迟敏感的端侧设备上实际应用的可能性。解决此问题的现有转换方法通常涉及修改转换脉冲神经元的状态。然而，这些方法未考虑其对神经形态芯片的适应性和兼容性。我们提出一种基于将残差误差显式建模为加性噪声的新方法。该噪声被整合到源ANN的激活函数中，从而有效减小残差误差。我们在CIFAR10/100数据集上的实验验证，我们的方法在准确率和所需时间步长方面超越了主流的ANN-SNN转换方法和直接训练的SNNs。总体而言，我们的方法为在超低延迟条件下提升SNN性能提供了新思路，并有望推动神经形态硬件的实际应用进一步发展。
引用
@article{arxiv.2404.17456,
title = {Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs},
author = {Zhipeng Huang and Jianhao Ding and Zhiyu Pan and Haoran Li and Ying Fang and Zhaofei Yu and Jian K. Liu},
journal= {arXiv preprint arXiv:2404.17456},
year = {2024}
}