基于交替方向乘子法的系统性深度神经网络权重剪枝框架
神经与进化计算
2018-10-23 v3 计算机视觉与模式识别
机器学习
摘要
深度神经网络(DNNs)的权重剪枝方法近来已被研究,但该领域先前的工作主要是启发式、迭代式剪枝,因而缺乏关于权重缩减比和收敛时间的保证。为缓解这些局限,我们提出了一种利用交替方向乘子法(ADMM)的系统性 DNN 权重剪枝框架。我们首先将 DNN 的权重剪枝问题表述为一个具有指定稀疏性要求的组合约束的非凸优化问题,然后采用 ADMM 框架进行系统性权重剪枝。通过使用 ADMM,原始非凸优化问题被分解为两个子问题并迭代求解。其中一个子问题可使用随机梯度下降求解,另一个可解析求解。此外,我们的方法实现了快速的收敛速率。权重剪枝结果非常可观,且一致优于先前的工作。在 MNIST 数据集的 LeNet-5 模型上,我们实现了 71.2 倍的权重缩减且无精度损失。在 ImageNet 数据集的 AlexNet 模型上,我们实现了 21 倍的权重缩减且无精度损失。当我们聚焦于用于计算缩减的卷积层剪枝时,与先前工作相比我们可将总计算量降低五倍(在卷积层中实现总计 13.4 倍的权重缩减)。我们的模型和代码发布于 https://github.com/KaiqiZhang/admm-pruning
引用
@article{arxiv.1804.03294,
title = {A Systematic DNN Weight Pruning Framework using Alternating Direction Method of Multipliers},
author = {Tianyun Zhang and Shaokai Ye and Kaiqi Zhang and Jian Tang and Wujie Wen and Makan Fardad and Yanzhi Wang},
journal= {arXiv preprint arXiv:1804.03294},
year = {2018}
}