面向快速准确推理的深度脉冲神经网络最优 ANN-SNN 转换
神经与进化计算
2021-05-26 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNN）作为受生物启发的节能神经网络，已引起研究人员与产业界的极大关注。训练深度 SNN 最有效的方式是通过 ANN-SNN 转换。然而，该转换通常面临精度损失与长推理时间的问题，阻碍了 SNN 的实际应用。本文从理论上分析 ANN-SNN 转换，并推导出最优转换的充分条件。为更好关联 ANN-SNN 并获得更高精度，我们提出 Rate Norm Layer 替代源 ANN 训练中的 ReLU 激活函数，实现从训练好的 ANN 到 SNN 的直接转换。此外，我们提出最优拟合曲线来量化源 ANN 激活值与目标 SNN 实际发放率之间的拟合程度。我们表明，通过优化修订后 ANN 中拟合曲线的上界可减少推理时间，从而实现快速推理。我们的理论能解释现有快速推理工作并取得更好结果。实验结果表明，所提方法在 VGG-16、PreActResNet-18 及更深结构上实现了近乎无损的转换。此外，其能在典型方法 0.265 倍能耗下达到 8.6 倍更快的推理性能。代码见 https://github.com/DingJianhao/OptSNNConvertion-RNL-RIL。
引用
@article{arxiv.2105.11654,
title = {Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks},
author = {Jianhao Ding and Zhaofei Yu and Yonghong Tian and Tiejun Huang},
journal= {arXiv preprint arXiv:2105.11654},
year = {2021}
}
备注
9 pages, 7 figures, 2 tables. To appear in the 30th International Joint Conference on Artificial Intelligence (IJCAI 2021)