基于组神经元的最优 ANN-SNN 转换
神经与进化计算
2024-03-01 v1
摘要
脉冲神经网络（SNN）已成为有前景的第三代神经网络，具有二进制输出、高稀疏性和生物合理性等独特特性。然而，缺乏有效的学习算法仍然是 SNN 面临的挑战。例如，将人工神经网络（ANN）转换为 SNN 虽然避免了直接训练 SNN，但会遇到转换误差和高推理时间延迟的问题。为了减少甚至消除转换误差，同时降低推理时间步，我们引入了一种新型神经元——组神经元（GN）。一个 GN 由多个积分点火（IF）神经元作为成员组成，其神经动力学经过精心设计。基于 GN，我们优化了传统的 ANN-SNN 转换框架。具体来说，我们将传统转换框架得到的 SNN 中的 IF 神经元替换为 GN。使用 GN 的 SNN 即使在极短的推理时间步内也能达到与 ANN 相当的精度。在 CIFAR10、CIFAR100 和 ImageNet 数据集上的实验证明了所提方法在推理精度和延迟方面的优越性。代码可在 https://github.com/Lyu6PosHao/ANN2SNN_GN 获取。
关键词
引用
@article{arxiv.2402.19061,
title = {Optimal ANN-SNN Conversion with Group Neurons},
author = {Liuzhenghao Lv and Wei Fang and Li Yuan and Yonghong Tian},
journal= {arXiv preprint arXiv:2402.19061},
year = {2024}
}
备注
Accepted by International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2024