基于 ADMM 的深度神经网络渐进式权重剪枝
机器学习
2018-11-06 v2 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
深度神经网络（DNN）虽然在许多领域达到了人类水平的性能，但其模型规模非常庞大，阻碍了其在边缘计算设备上的更广泛应用。关于 DNN 模型压缩或剪枝已开展了大量研究工作。然而，以往大多数工作采用启发式方法。本文提出一种基于 ADMM（交替方向乘子法）的渐进式权重剪枝方法，ADMM 是处理具有潜在组合约束的非凸优化问题的一种强有力技术。受动态规划启发，所提方法通过采用中等剪枝率的局部剪枝达到极高的剪枝率。因此，它解决了追求极高剪枝比时的精度下降与收敛时间长的问题。该方法在 ImageNet 数据集上实现了高达 34 倍的剪枝率，在 MNIST 数据集上实现了 167 倍的剪枝率，显著高于已有文献工作所达到的水平。在相同训练轮数下，所提方法还实现了更快的收敛与更高的压缩率。代码与剪枝后的 DNN 模型发布于链接 bit.ly/2zxdlss。
引用
@article{arxiv.1810.07378,
title = {Progressive Weight Pruning of Deep Neural Networks using ADMM},
author = {Shaokai Ye and Tianyun Zhang and Kaiqi Zhang and Jiayu Li and Kaidi Xu and Yunfei Yang and Fuxun Yu and Jian Tang and Makan Fardad and Sijia Liu and Xiang Chen and Xue Lin and Yanzhi Wang},
journal= {arXiv preprint arXiv:1810.07378},
year = {2018}
}