脉冲神经网络中的噪声适配器

近期低延迟脉冲神经网络（SNN）算法的进展引起了极大兴趣，这主要归功于其事件驱动的计算特性和快速推理能力。构建低延迟 SNN 最有效的方法之一是将预训练的低比特人工神经网络（ANN）转换为 SNN。然而，这种转换过程面临两个主要挑战：首先，从低比特 ANN 转换为 SNN 会在推理期间导致“偶发噪声”——即在不应产生脉冲的脉冲神经元中偶尔产生脉冲的现象——这显著降低了 SNN 的准确率。其次，尽管低延迟 SNN 最初在准确率上随时间步长显示出快速提升，但这种准确率的增长很快会趋于平缓，导致其峰值准确率落后于全精度 ANN 和优先考虑精度而非速度的传统“长延迟 SNN”。针对这两个挑战，本文引入了一种名为“噪声适配器”的新技术。噪声适配器能够在训练期间对偶发噪声进行建模，并隐式地优化 SNN 的准确率，特别是在高仿真时间 $T$ 下。我们的研究利用 ResNet 模型全面分析了噪声适配器对低延迟 SNN 的影响。结果表明，我们的方法优于先前报道的量化 ANN 到 SNN 转换技术。我们使用 ResNet-18 在 4 个时间步长内在 CIFAR-10 上实现了 95.95% 的准确率，并使用 ResNet-50 在 64 个时间步长内在 ImageNet 上实现了 74.37% 的准确率。值得注意的是，这些结果是在 SNN 推理期间不采用任何噪声校正方法（如负脉冲或两阶段 SNN 模拟）的情况下获得的。我们的方法显著提升了低延迟 SNN 的峰值准确率，使其与全精度 ANN 的准确率相当。代码将开源。