三元脉冲：为脉冲神经网络学习三元脉冲
计算机视觉与模式识别
2023-12-19 v2
摘要
脉冲神经网络（SNN）作为受生物启发的神经网络架构之一，近年来受到越来越多的关注。它采用二值脉冲激活来传递信息，因此激活值与权重的乘法可以被加法替代，从而带来高能效。然而，在本文中，我们从理论和实验上证明，二值脉冲激活图无法携带足够的信息，从而导致信息损失并造成精度下降。为解决该问题，我们提出了一种三元脉冲神经元来传递信息。该三元脉冲神经元同样享有二值脉冲神经元的事件驱动和无乘法运算优势，但将提升信息容量。此外，我们还在三元脉冲神经元中嵌入了一个可训练因子，以学习合适的脉冲幅度，因此我们的 SNN 将沿网络层采用不同的脉冲幅度，这能更好地适应膜电位分布沿层变化的现象。为了保持原始三元脉冲的效率，可训练的三元脉冲 SNN 将在推理阶段通过重参数化技术再次转换为标准形式。在静态和动态数据集上使用多种流行网络结构进行的大量实验表明，三元脉冲能持续优于最先进的方法。我们的代码已在 https://github.com/yfguo91/Ternary-Spike 开源。
引用
@article{arxiv.2312.06372,
title = {Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks},
author = {Yufei Guo and Yuanpei Chen and Xiaode Liu and Weihang Peng and Yuhan Zhang and Xuhui Huang and Zhe Ma},
journal= {arXiv preprint arXiv:2312.06372},
year = {2023}
}
备注
Accepted by AAAI2024