来自ANN的免费午餐：迈向高效、精确的脉冲神经网络校准
机器学习
2021-06-15 v1
摘要
脉冲神经网络（SNN）已被认为是下一代神经网络之一。传统上，SNN可通过将预训练ANN中的ReLU激活替换为脉冲激活并保持参数不变来转换得到。或许令人惊讶的是，本文表明在ANN到SNN的转换过程中对参数进行适当校准可带来显著改进。我们提出SNN校准，一种廉价但极其有效的方法，利用预训练人工神经网络（ANN）中的知识。首先从理论上分析转换误差及其逐层传播，进而提出可逐层纠正误差的校准算法。校准仅需少量训练数据并在几分钟内完成。此外，我们的校准算法可在大规模ImageNet数据集上生成具有SOTA架构的SNN，包括MobileNet和RegNet。大量实验证明了我们算法的有效性与高效性。例如，在ImageNet上转换MobileNet时，我们的先进流程相比基线最多可提升69%的top-1准确率。代码发布于https://github.com/yhhhli/SNN_Calibration。
引用
@article{arxiv.2106.06984,
title = {A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration},
author = {Yuhang Li and Shikuang Deng and Xin Dong and Ruihao Gong and Shi Gu},
journal= {arXiv preprint arXiv:2106.06984},
year = {2021}
}