渐进式 DNN 压缩：利用 ADMM 实现超高权重剪枝与量化率的关键
神经与进化计算
2019-04-02 v2 计算机视觉与模式识别
机器学习
摘要
权重剪枝和权重量化是 DNN 模型压缩的两个重要类别。先前关于这些技术的工作主要基于启发式方法。最近的一项工作利用高级优化技术 ADMM（Alternating Direction Methods of Multipliers，交替方向乘子法）开发了 DNN 权重剪枝的系统性框架，取得了最先进的权重剪枝结果之一。在这项工作中，我们首先扩展了这种基于一次性 ADMM 的框架，以保证解的可行性并提供快速收敛率，同时将其推广到权重量化。我们进一步开发了一个多步、渐进式的 DNN 权重剪枝和量化框架，具有双重优势：(i) 得益于 ADMM 正则化的特殊性质，实现进一步的权重剪枝/量化；(ii) 减少每一步内的搜索空间。大量实验结果证明了与先前工作相比的优越性能。部分亮点：(i) 我们分别在 LeNet-5、AlexNet 和 ResNet-50 模型上实现了 246 倍、36 倍和 8 倍的权重剪枝，且（几乎）零精度损失；(ii) 即使在 AlexNet（ImageNet）上进行显著的 61 倍权重剪枝，与先前工作相比，实际精度也只有轻微下降；(iii) 我们是最早得出 ResNet 和 MobileNet 模型显著权重剪枝结果的团队之一；(iv) 我们得出了首个无损、完全二值化（所有层）的用于 MNIST 的 LeNet-5 和用于 CIFAR-10 的 VGG-16；(v) 我们得出了首个用于 ImageNet 的完全二值化（所有层）ResNet，且仅有合理的精度损失。
引用
@article{arxiv.1903.09769,
title = {Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM},
author = {Shaokai Ye and Xiaoyu Feng and Tianyun Zhang and Xiaolong Ma and Sheng Lin and Zhengang Li and Kaidi Xu and Wujie Wen and Sijia Liu and Jian Tang and Makan Fardad and Xue Lin and Yongpan Liu and Yanzhi Wang},
journal= {arXiv preprint arXiv:1903.09769},
year = {2019}
}