每神经元 0.3 次脉冲的高性能深度脉冲神经网络
神经与进化计算
2023-11-21 v2 机器学习
摘要
以稀疏的二值脉冲进行通信是生物大脑具备高能效的关键因素。然而，受生物启发的脉冲神经网络 (SNNs) 比人工神经网络 (ANNs) 更难训练。鉴于理论结果已给出从 ANNs 到采用首脉冲时间 (TTFS) 编码的 SNNs 的精确映射算法，这一现象令人困惑。本文从理论与仿真两方面分析了 TTFS 网络的学习动态，并指出了梯度消失或爆炸问题的一个具体表现。尽管两种 SNN 映射选择在初始化时可解决该问题，但唯有在阈值处神经元膜电位斜率为常数者能保证 SNNs 与带修正线性单元 (ReLU) 的 ANNs 训练轨迹等价。我们证明训练深度 SNN 模型可取得与 ANNs 完全相同的性能，在 MNIST/Fashion-MNIST、CIFAR10/CIFAR100 及 PLACES365 等图像分类数据集上超越以往 SNNs。我们的 SNN 以每神经元少于 0.3 次脉冲实现高性能分类，适于高能效实现。我们表明，用所提鲁棒梯度下降算法微调 SNNs 可使其面向低延迟及抗噪声与量化能力的硬件实现进行优化。
引用
@article{arxiv.2306.08744,
title = {High-performance deep spiking neural networks with 0.3 spikes per neuron},
author = {Ana Stanojevic and Stanisław Woźniak and Guillaume Bellec and Giovanni Cherubini and Angeliki Pantazi and Wulfram Gerstner},
journal= {arXiv preprint arXiv:2306.08744},
year = {2023}
}