COP：基于正则化相关性的滤波器级剪枝定制深度模型压缩
计算机视觉与模式识别
2019-06-26 v1 机器学习
摘要
神经网络压缩使得有效但笨重的深度卷积神经网络（CNN）能够部署在资源受限的场景中。大多数最先进的方法根据滤波器的“重要性”在滤波器级对模型进行剪枝。尽管它们取得了成功，我们注意到它们至少存在以下两个问题：1）由于重要性是独立评估的，未考虑滤波器之间的冗余。2）由于重要性是在每层局部定义的，无法实现跨层滤波器比较。因此，我们必须手动指定逐层剪枝比例。3）它们容易产生次优解，因为它们忽略了减少参数与减少计算成本之间的不等价性。在网络中不同位置减少相同数量的参数可能减少不同的计算成本。为了解决上述问题，我们开发了一种名为COP（基于相关性的剪枝）的新算法，它能够高效地检测冗余滤波器。我们通过全局归一化实现跨层滤波器比较。我们向重要性中添加了参数量与计算成本正则化项，使用户能够根据其偏好（更小或更快）定制压缩。大量实验表明COP显著优于其他方法。代码发布于https://github.com/ZJULearning/COP。
引用
@article{arxiv.1906.10337,
title = {COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning},
author = {Wenxiao Wang and Cong Fu and Jishun Guo and Deng Cai and Xiaofei He},
journal= {arXiv preprint arXiv:1906.10337},
year = {2019}
}
备注
7 pages, 4 figures, has been accepted by IJCAI2019