基于ADMM优化与活性正则化的脉冲神经网络全面压缩
神经与进化计算
2020-08-21 v3 机器学习
信号处理
摘要
众所周知，人工神经网络（ANNs）与脉冲神经网络（SNNs）巨大的内存与计算成本极大阻碍了它们在高效边缘设备上的部署。模型压缩作为一种通过减少参数与操作来提升运行效率的有前景技术已被提出。然而，该技术主要在ANNs而非SNNs中实践。回答SNN模型在不损害其功能的前提下可被压缩多少这一问题颇有意思，其中需解决两个挑战：i) SNN的精度通常对模型压缩敏感，这需要一种精确的压缩方法；ii) SNN的计算是事件驱动而非静态的，这产生了关于动态脉冲的额外压缩维度。为此，我们通过三个步骤实现SNN的全面压缩。首先，我们将连接剪枝与权重量化表述为约束优化问题。其次，我们结合时空反向传播（STBP）与交替方向乘子法（ADMM）以最小精度损失求解该问题。第三，我们进一步提出活性正则化以减少脉冲事件，从而降低活跃操作数。这些方法既可单独应用以实现适度压缩，也可联合应用以实现激进压缩。我们定义了若干定量指标来评估SNN的压缩性能。我们的方法在MNIST、N-MNIST、CIFAR10和CIFAR100数据集上的模式识别任务中得到验证，并提供了广泛的比较、分析与见解。据我们所知，这是首项通过利用所有可压缩组件并以全面方式研究SNN压缩且取得更优结果的工作。
引用
@article{arxiv.1911.00822,
title = {Comprehensive SNN Compression Using ADMM Optimization and Activity Regularization},
author = {Lei Deng and Yujie Wu and Yifan Hu and Ling Liang and Guoqi Li and Xing Hu and Yufei Ding and Peng Li and Yuan Xie},
journal= {arXiv preprint arXiv:1911.00822},
year = {2020}
}
备注
Under review