引入可学习膜时间常数以增强脉冲神经网络的学习
神经与进化计算
2021-08-18 v5 计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNNs）因时序信息处理能力、低功耗和高生物合理性而吸引了大量研究兴趣。然而，为 SNNs 制定高效且高性能的学习算法仍具挑战性。大多数现有学习方法仅学习权重，并需要手动调整决定单个脉冲神经元动力学的膜相关参数。这些参数通常对所有神经元选取相同值，限制了神经元的多样性以及所得 SNNs 的表达能力。本文中，我们从脑区之间膜相关参数各异的观察获得启发，提出了一种能够同时学习 SNNs 突触权重和膜时间常数的训练算法。我们表明，引入可学习膜时间常数可使网络对初始值不那么敏感，并能加速学习。此外，我们重新评估了 SNNs 中的池化方法，发现最大池化不会导致显著的信息损失，并具有低计算成本和二值兼容性的优势。我们在传统静态 MNIST、Fashion-MNIST、CIFAR-10 数据集以及神经形态 N-MNIST、CIFAR10-DVS、DVS128 Gesture 数据集上评估了所提方法的图像分类任务。实验结果表明，在使用更少时间步长的情况下，所提方法在几乎所有数据集上均优于最先进的准确率。我们的代码可在 https://github.com/fangwei123456/Parametric-Leaky-Integrate-and-Fire-Spiking-Neuron 获取。
引用
@article{arxiv.2007.05785,
title = {Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks},
author = {Wei Fang and Zhaofei Yu and Yanqi Chen and Timothee Masquelier and Tiejun Huang and Yonghong Tian},
journal= {arXiv preprint arXiv:2007.05785},
year = {2021}
}
备注
Accepted by International Conference on Computer Vision (ICCV) 2021