脉冲脑压缩：面向脉冲神经网络的后训练二阶压缩
机器学习
2026-01-29 v3 神经与进化计算
摘要
脉冲神经网络 (SNN) 已成为一种新一代适合在神经形态硬件上实现的高效神经网络。由于神经形态硬件的存储和计算资源有限，最近探索了参数剪枝和量化以提高 SNN 的效率。当前的 SNN 剪枝/量化方法采用多次压缩和训练迭代，增加了预训练或非常大型 SNN 的成本。在本文中，我们提出了一种新颖的单次后训练压缩框架，称为 Spiking Brain Compression (SBC)，将经典 Optimal Brain Surgeon 方法扩展到 SNN。SBC 将当前常用的基于层的压缩方法中基于电流的目标替换为基于脉冲序列的目标，其 Hessian 代价低廉，仅通过一次反向传播即可对参数进行压缩并对其余参数进行解析比例缩放。将 SBC 应用于包括事件驱动和静态数据集（最高达 ImageNet）的 SNN 剪枝和量化，包括 SEW-ResNet152 和受脉冲驱动的 Transformer，我们实现了 SNN 的单次后训练压缩的招牌时刻，相较于移植到 SNN 的 ANN 压缩基线，单到双位数的准确率提升。我们进一步报告了基于突触运算的能源代理以及校准大小的消融实验，表明在亚每类样本校准下仍能实现稳健的性能。
引用
@article{arxiv.2506.03996,
title = {Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks},
author = {Lianfeng Shi and Ao Li and Benjamin Ward-Cherrier},
journal= {arXiv preprint arXiv:2506.03996},
year = {2026}
}
备注
Preliminary work accepted at non-archival OPT-ML workshop at NeurIPS 2025. The workshop version is available in an earlier version of this arXiv paper