面向高精度与超低延迟脉冲神经网络的最优 ANN-SNN 转换
神经与进化计算
2023-03-09 v1
摘要
脉冲神经网络（SNNs）因其在神经形态硬件上低功耗与快速推理的独特特性而备受关注。作为获取深度 SNNs 的最有效方法，ANN-SNN 转换已在大规模数据集上取得与 ANNs 相当的性能。尽管如此，它需要较长的时间步以匹配 SNNs 的发放率与 ANNs 的激活值。因此，转换后的 SNN 在短时间步下遭受严重的性能退化问题，阻碍了 SNNs 的实际应用。本文从理论上分析 ANN-SNN 转换误差，并推导出 SNNs 的估计激活函数。随后我们提出量化 clip-floor-shift 激活函数以替换源 ANNs 中的 ReLU 激活函数，其能更好地逼近 SNNs 的激活函数。我们证明 SNNs 与 ANNs 之间的期望转换误差为零，从而使我们能够实现高精度与超低延迟的 SNNs。我们在 CIFAR-10/100 与 ImageNet 数据集上评估了该方法，表明其在准确率与时间步上均优于最先进的 ANN-SNN 与直接训练的 SNNs。据我们所知，这是首次探索具有超低延迟（4 时间步）的高性能 ANN-SNN 转换。代码见 https://github.com/putshua/SNN_conversion_QCFS
引用
@article{arxiv.2303.04347,
title = {Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks},
author = {Tong Bu and Wei Fang and Jianhao Ding and PengLin Dai and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2303.04347},
year = {2023}
}