从压缩效率视角改进脉冲神经网络的稀疏结构学习
人机交互
2025-02-20 v1
摘要
人脑利用脉冲进行信息传输，并在其整个生命周期内动态重组网络结构，以提高能量效率和认知能力。受这种基于脉冲计算的启发，脉冲神经网络（SNN）被开发用于构建模拟这种效率的事件驱动模型。尽管取得了这些进展，深度 SNN 在训练和推理过程中仍然存在过参数化问题，这与大脑的自组织能力形成了鲜明对比。此外，由于采用静态剪枝率，现有的稀疏 SNN 难以保持最佳剪枝水平，导致剪枝不足或过度剪枝。在本文中，我们提出了一种新颖的深度 SNN 两阶段动态结构学习方法，旨在从零开始保持有效的稀疏训练，同时优化压缩效率。第一阶段使用 PQ 指数评估 SNN 中现有稀疏子网络的可压缩性，这有助于基于数据压缩洞察自适应地确定突触连接的重连率。在第二阶段，该重连率为动态突触连接重连过程（包括剪枝和重新生长）提供关键指导。该方法显著改善了深度 SNN 中稀疏结构训练的探索，从压缩效率的角度动态调整稀疏性。我们的实验表明，这种稀疏训练方法不仅与当前深度 SNN 模型的性能相当，而且显著提高了稀疏 SNN 的压缩效率。至关重要的是，它保留了从稀疏模型开始训练的优势，并为在神经形态硬件上实现边缘 AI 提供了有前景的解决方案。
引用
@article{arxiv.2502.13572,
title = {Improving the Sparse Structure Learning of Spiking Neural Networks from the View of Compression Efficiency},
author = {Jiangrong Shen and Qi Xu and Gang Pan and Badong Chen},
journal= {arXiv preprint arXiv:2502.13572},
year = {2025}
}