通过增量正则化对高效卷积网络进行结构化剪枝
计算机视觉与模式识别
2018-12-20 v2 机器学习
摘要
参数剪枝是一种通过消除冗余模型参数并以可容忍的性能损失来实现 CNN 压缩与加速的有前景的方法。尽管有效，现有的基于正则化的参数剪枝方法通常以较大且恒定的正则化因子将权重推向零，这忽视了 CNN 的表达能力是脆弱的、且在剪枝过程中需要更温和的正则化方式以使网络适应这一事实。为解决该问题，我们提出一种新的基于正则化的剪枝方法（命名为 IncReg），基于不同权重组的相对重要性为其增量地分配不同的正则化因子，其在流行 CNN 上的有效性已通过与 SOTA 方法比较得到证明。
引用
@article{arxiv.1811.08390,
title = {Structured Pruning for Efficient ConvNets via Incremental Regularization},
author = {Huan Wang and Qiming Zhang and Yuehai Wang and Haoji Hu},
journal= {arXiv preprint arXiv:1811.08390},
year = {2018}
}
备注
Accepted by NIPS 2018 workshop on "Compact Deep Neural Network Representation with Industrial Applications"