脉冲神经网络中通过权重初始化实现深度活动传播
计算机视觉与模式识别
2025-05-21 v2
摘要
脉冲神经网络（Spiking Neural Networks, SNNs）及类神经计算系统具有稀疏性和超低功耗等生物仿生优势，为传统神经网络的有前景的替代方案。然而，从零开始训练深层 SNNs 仍然是一个挑战，因为 SNNs 通过将实值膜电位量化为二进制脉冲来处理和传递信息。这可能导致信息损失和深层神经元中脉冲消失，阻碍有效训练。虽然权重初始化对训练深层神经网络已知至关重要，但对于深层 SNN 有效的初始状态尚不明了。现有的权重初始化方法为传统网络（ANNs）设计，往往直接应用于 SNNs 而未考虑其独特的计算属性。本文推导了一种专为 SNNs 设计的优化权重初始化方法，考虑了量化运算。我们在理论上表明，与标准方法不同，此方法可在不损失脉冲的情况下实现深层 SNNs 中活动的传播。我们在最多包含 100 层的 SNNs numerical simulations 中展示了这一行为。我们对关于层宽和神经元超参数的numerical条件进行了深入分析，这些条件是准确应用理论结果所必需的。此外，我们的实验表明，在使用所提出的权重初始化方案的情况下，MNIST 数据集上的准确率和收敛速度均显著提高。最后，我们展示了新引入的权重初始化对Several network和神经元超参数的变化具有鲁棒性。
引用
@article{arxiv.2410.00580,
title = {Deep activity propagation via weight initialization in spiking neural networks},
author = {Aurora Micheli and Olaf Booij and Jan van Gemert and Nergis Tömen},
journal= {arXiv preprint arXiv:2410.00580},
year = {2025}
}