基于梯度重连的深度脉冲神经网络剪枝
神经与进化计算
2021-08-19 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNNs）因其生物学合理性与在神经形态芯片上的高能量效率而受到高度重视。由于这些芯片通常资源受限，SNNs的压缩在其实用化道路中至关重要。现有大多数方法直接将人工神经网络（ANNs）中的剪枝方法应用于SNNs，忽略了ANNs与SNNs之间的差异，从而限制了剪枝后SNNs的性能。此外，这些方法仅适用于浅层SNNs。本文受神经系统中突触发生与突触消除的启发，提出梯度重连（Grad R），一种面向SNNs的连接性与权重联合学习算法，使我们能够无缝优化网络结构而无需重训练。我们的关键创新是将梯度重新定义到一个新的突触参数上，通过充分利用连接剪枝与再生之间的竞争，更好地探索网络结构。实验结果表明，所提方法在MNIST和CIFAR-10数据集上实现了迄今为止SNNs性能的最小损失。此外，在史无前例的0.73%连接度下达到了约3.5%的精度损失，揭示了SNNs中显著的结构精炼能力。我们的工作表明深度SNNs中存在极高的冗余。我们的代码可在 https://github.com/Yanqi-Chen/Gradient-Rewiring 获取。
引用
@article{arxiv.2105.04916,
title = {Pruning of Deep Spiking Neural Networks through Gradient Rewiring},
author = {Yanqi Chen and Zhaofei Yu and Wei Fang and Tiejun Huang and Yonghong Tian},
journal= {arXiv preprint arXiv:2105.04916},
year = {2021}
}
备注
9 pages, 7 figures, 4 tables. To appear in the 30th International Joint Conference on Artificial Intelligence (IJCAI 2021)