基于 ADMM 的 DNN 权重剪枝与权重聚类/量化统一框架
神经与进化计算
2018-11-06 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）的许多模型压缩技术已被研究，包括权重剪枝、权重聚类与量化等。权重剪枝利用了 DNN 中权重数量的冗余，而权重聚类/量化利用了权重比特表示数量的冗余。它们可有效结合以挖掘最大程度的冗余，然而文献中缺乏系统性的相关研究。本文填补此空白，利用优化理论中处理非凸优化问题的强有力工具——交替方向乘子法（ADMM），发展了 DNN 权重剪枝与聚类/量化及其组合的统一系统性框架。DNN 权重剪枝、聚类/量化及其组合均可以统一方式求解。为在该框架内进一步提升性能，我们采用了迭代权重量化与重训练、联合权重聚类训练与质心更新、权重聚类重训练等多种技术。所提框架在单独的权重剪枝和聚类/量化问题及其组合上均取得显著改进。仅权重剪枝方面，我们在 LeNet-5、AlexNet 和 VGGNet 上分别实现 167 倍、24.7 倍和 23.4 倍的权重缩减且无精度损失。在 DNN 权重剪枝与聚类/量化组合下，LeNet-5 和 AlexNet 的权重数据存储分别缩减 1,910 倍和 210 倍且无精度损失。我们的代码与模型发布于 http://bit.ly/2D3F0np
引用
@article{arxiv.1811.01907,
title = {A Unified Framework of DNN Weight Pruning and Weight Clustering/Quantization Using ADMM},
author = {Shaokai Ye and Tianyun Zhang and Kaiqi Zhang and Jiayu Li and Jiaming Xie and Yun Liang and Sijia Liu and Xue Lin and Yanzhi Wang},
journal= {arXiv preprint arXiv:1811.01907},
year = {2018}
}