ILIF：面向脉冲神经网络过激活问题的时滞抑制型 Leaky Integrate-and-Fire 神经元
神经与进化计算
2025-05-16 v1 人工智能
机器学习
神经元与认知
摘要
脉冲神经网络 (SNN) 因其节能、事件驱动处理及生物学可行性而受到日益关注。通过使用替代梯度来训练 SNN，逼近不可导的脉冲函数，但它们仅在靠近放电阈值的肥电池电位窄范围内保持非零导数，称为替代梯度支持宽度 gamma。我们识别了一个主要挑战，称为 gamma 的困境：相对较大的 gamma 导致过激活，表现为神经元过度放电，从而增加能源消耗；而较小的 gamma 则导致梯度消失并削弱时序依赖性。为此，我们提出了一种时滞抑制型 Leaky Integrate-and-Fire (ILIF) 神经元模型，灵感来自生物学抑制机制。该模型包含用于电位和电流的互连抑制单元，有效缓解了过激活问题，同时保持梯度传播。理论分析表明 ILIF 在克服 gamma 困境方面有效，广泛实验表明 ILIF 通过减少放电率提高能源效率，稳定训练，并提升准确率。代码已在 github.com/kaisun1/ILIF 上提供。
引用
@article{arxiv.2505.10371,
title = {ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks},
author = {Kai Sun and Peibo Duan and Levin Kuhlmann and Beilun Wang and Bin Zhang},
journal= {arXiv preprint arXiv:2505.10371},
year = {2025}
}