RMP-SNN：用于实现更深、高精度、低延迟脉冲神经网络的残差膜电位神经元
神经与进化计算
2020-04-02 v2 计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNNs）作为可支持低功耗事件驱动数据分析的第三代人工神经网络，近来引起了显著的研究兴趣。用于图像识别任务的最佳性能 SNN 通过将由修正线性单元（ReLU）组成的已训练模拟神经网络（ANN）转换为由具有“适当”发放阈值的积分发放神经元构成的 SNN 而获得。所转换的 SNN 相较于原始 ANN 通常会出现精度损失，且需要相当数量的推理时间步才能达到最佳精度。我们发现，转换后 SNN 中的性能退化源于使用“硬重置”脉冲神经元：一旦膜电位超过发放阈值便被驱动至固定重置电位，导致 SNN 推理过程中的信息丢失。我们提出使用“软重置”脉冲神经元模型进行 ANN-SNN 转换，称为残差膜电位（RMP）脉冲神经元，其在发放瞬间保留高于阈值的“残差”膜电位。我们展示了使用 RMP 神经元在 VGG-16、ResNet-20 和 ResNet-34 SNN 上于具挑战性的数据集（包括 CIFAR-10（93.63% top-1）、CIFAR-100（70.93% top-1）和 ImageNet（73.09% top-1 精度））上实现近乎无损的 ANN-SNN 转换。我们的结果还表明，RMP-SNN 在使用比“硬重置”脉冲神经元转换的 SNN 少 2-8 倍推理时间步的情况下，跨网络架构与数据集超越了后者提供的最佳推理精度。
引用
@article{arxiv.2003.01811,
title = {RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network},
author = {Bing Han and Gopalakrishnan Srinivasan and Kaushik Roy},
journal= {arXiv preprint arXiv:2003.01811},
year = {2020}
}
备注
to be published in CVPR'20