基于 Cannistraci-Hebb 规则的超稀疏脉冲神经网络训练
神经与进化计算
2025-11-11 v1
摘要
受大脑基于脉冲的计算启发，脉冲神经网络 (SNN) 本质上具备时间层次稀疏性。然而，在结构连接域的稀疏训练中，现有方法无法在保持显著性能的同时实现超稀疏网络结构，从而阻碍了高效能的神经器件计算。这种局限性呈现出关键挑战：如何在保持性能相当于全连接网络的水平的同时，实现更高的结构连接稀疏度。为此，我们提出了 Cannistraci-Hebb 脉冲神经网络 (CH-SNN)，一种新颖且可推广的动态稀疏训练框架，包含四个阶段。首先，我们提出了稀疏脉冲相关拓扑初始化 (SSCTI) 方法，基于节点相关性初始化稀疏网络。其次，引入稀疏脉冲权重初始化 (SSWI) 方法，将时间层次稀疏性和结构连接稀疏性整合。随后，应用混合链接移除得分 (LRS) 对多余权重和非活跃神经元进行修剪，以改善信息流。最后，我们采用受 Cannistraci-Hebb 学习理论启发的 CH3-L3 网络自动机框架，用于预测潜在的神经元突触再生。这些机制使 CH-SNN 能够在所有线性层上实现稀疏化。我们在包括 CIFAR-10 和 CIFAR-100 在内的六个数据集上进行了大量实验，评估了各种网络架构，如脉冲卷积神经网络和 Spikformer。
引用
@article{arxiv.2511.05581,
title = {Cannistraci-Hebb Training on Ultra-Sparse Spiking Neural Networks},
author = {Yuan Hua and Jilin Zhang and Yingtao Zhang and Wenqi Gu and Leyi You and Baobo Xiong and Carlo Vittorio Cannistraci and Hong Chen},
journal= {arXiv preprint arXiv:2511.05581},
year = {2025}
}