Spikingformer：脉冲神经网络的关键基础模型
神经与进化计算
2025-11-14 v5 人工智能
摘要
脉冲神经网络（SNNs）因其事件驱动的脉冲计算，为人工神经网络提供了一种有前景的节能替代方案。然而，一些基础 SNN 骨干网络（包括 Spikformer 和 SEW ResNet）因其残差连接结构而受到非脉冲计算（整数-浮点乘法）的困扰。这些非脉冲计算增加了 SNN 的功耗，使其不适合部署在主流神经形态硬件上。在本文中，我们分析了 SNN 中残差连接方法的脉冲驱动行为。随后我们提出 Spikingformer，一种新颖的脉冲 transformer 骨干网络，它以生物学上合理的方式将 MS 残差连接与自注意力相融合，从而在保持全局建模能力的同时解决 Spikformer 中的非脉冲计算挑战。我们在涵盖大型静态图像、神经形态数据和自然语言任务的 13 个数据集上评估了 Spikingformer，证明了其有效性与通用性，为脉冲神经网络树立了重要基准。此外，凭借脉冲驱动特性与全局建模能力，Spikingformer 有望成为面向节能人工智能的更高效通用 SNN 骨干网络。代码：https://github.com/TheBrainLab/Spikingformer
引用
@article{arxiv.2304.11954,
title = {Spikingformer: A Key Foundation Model for Spiking Neural Networks},
author = {Chenlin Zhou and Liutao Yu and Zhaokun Zhou and Han Zhang and Jiaqi Wang and Huihui Zhou and Zhengyu Ma and Yonghong Tian},
journal= {arXiv preprint arXiv:2304.11954},
year = {2025}
}
备注
Accepted by AAAI 2026 (Oral), Code: https://github.com/TheBrainLab/Spikingformer