Noise Adaptor: 通过噪声注入低位 ANN 转换增强低延迟脉冲神经网络
神经与进化计算
2024-11-27 v1
摘要
我们提出了 Noise Adaptor, 一种用于构建高性能低延迟脉冲神经网络 (SNN) 的新方法, 通过将噪声注入的低位人工神经网络 (ANN) 进行转换. 该方法建立在现有 ANN 到 SNN 转换技术基础上, 但提供了若干关键改进: (1) 通过在量化 ANN 训练期间注入噪声, Noise Adaptor 更好地考虑了 ANN 和 SNN 之间的动态差异, 大幅提高了 SNN 的准确率. (2) 与以往方法不同, Noise Adaptor 不需要在 SNN 中应用运行时噪声校正技术, 从而避免了在推理期间修改脉冲神经元模型和控制流程. (3) 我们的方法扩展了处理更深层架构的能力, 实现了对激活量化 ResNet-101 和 ResNet-152 的成功转换. 我们在 CIFAR-10 和 ImageNet 上演示了该方法的有效性, 达到了具竞争力的性能. 代码将以开源形式提供.
关键词
引用
@article{arxiv.2411.17431,
title = {Noise Adaptor: Enhancing Low-Latency Spiking Neural Networks through Noise-Injected Low-Bit ANN Conversion},
author = {Chen Li and Bipin. Rajendran},
journal= {arXiv preprint arXiv:2411.17431},
year = {2024}
}