面向双室脉冲神经元网络的高效在线学习
神经与进化计算
2024-02-27 v1
摘要
受大脑启发的脉冲神经网络因其在处理时序信号时的优越性能和能效而备受关注。最近，一种新颖的多室脉冲神经元模型——双室LIF模型被提出，并展现出卓越的序列建模能力。然而，训练双室LIF模型面临挑战，这些挑战源于与时间反向传播算法相关的大内存消耗和梯度消失问题。为解决这些问题，在线学习方法成为一种有前景的方案。然而，迄今为止，在线学习方法在SNN中的应用主要局限于简化的漏积分放电神经元模型。本文提出了一种专门针对双室LIF神经元网络的新型在线学习方法。此外，我们提出了一种改进的双室LIF神经元模型，称为自适应TC-LIF，该模型经过精心设计，以增强在线学习场景中的时序信息整合。在多个序列基准上进行的广泛实验表明，我们的方法成功保留了TC-LIF神经元卓越的序列建模能力，同时兼具在线学习的训练效率和硬件友好性。因此，它为利用神经形态解决方案处理时序信号提供了众多机会。
引用
@article{arxiv.2402.15969,
title = {Efficient Online Learning for Networks of Two-Compartment Spiking Neurons},
author = {Yujia Yin and Xinyi Chen and Chenxiang Ma and Jibin Wu and Kay Chen Tan},
journal= {arXiv preprint arXiv:2402.15969},
year = {2024}
}