SS-Auto：一种单次、自动化的 DNN 结构化权重剪枝框架，具有超高效率
机器学习
2020-02-11 v1 计算机视觉与模式识别
神经与进化计算
摘要
结构化权重剪枝是 DNN 为实现硬件效率与推理加速的一种代表性模型压缩技术。该领域以往工作仍有很大改进空间，因为不同结构化剪枝方案组合构成的稀疏结构未被充分且高效地利用。为缓解这些局限，我们提出 SS-Auto，一种可同时实现行剪枝与列剪枝的单次自动结构化剪枝框架。我们采用基于软约束的公式来缓解最先进的基于 ADMM 的方法中 l0 范数约束的强非凸性，以加快收敛并减少超参数。我们不直接求解该问题，而是提出一种原始-邻近（Primal-Proximal）解，以避免平等惩罚所有权重的缺陷，从而提升精度。在 CIFAR-10 和 CIFAR-100 数据集上的大量实验表明，所提框架可在保持精度的同时实现超高剪枝率。此外，通过在智能手机上的实际测量，观察到所提框架带来了显著的推理加速。
引用
@article{arxiv.2001.08839,
title = {SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency},
author = {Zhengang Li and Yifan Gong and Xiaolong Ma and Sijia Liu and Mengshu Sun and Zheng Zhan and Zhenglun Kong and Geng Yuan and Yanzhi Wang},
journal= {arXiv preprint arXiv:2001.08839},
year = {2020}
}