基于增量正则化的高效卷积网络结构化剪枝
机器学习
2019-04-17 v2 机器学习
摘要
参数剪枝通过消除冗余的模型参数并以可容忍的性能下降为代价，是一种颇有前景的 CNN 压缩与加速方法。尽管有效，现有的基于正则化的参数剪枝方法通常以较大且恒定的正则化因子将权重推向零，忽视了 CNN 表达能力的脆弱性，因此需要一种更温和的正则化方案以使网络在剪枝过程中能够适应。为此，我们提出一种新颖的基于正则化的剪枝方法 IncReg，根据权重相对重要性增量式地分配不同的正则化因子。在 CIFAR-10 数据集上的实证分析验证了 IncReg 的优势。进一步在 CIFAR-10 和 ImageNet 数据集上对主流 CNN 进行的广泛实验表明，IncReg 取得了与最优方法相当甚至更好的结果。我们的源代码与训练模型可在此获取：https://github.com/mingsun-tse/caffe_increg。
引用
@article{arxiv.1804.09461,
title = {Structured Pruning for Efficient ConvNets via Incremental Regularization},
author = {Huan Wang and Qiming Zhang and Yuehai Wang and Yu Lu and Haoji Hu},
journal= {arXiv preprint arXiv:1804.09461},
year = {2019}
}
备注
IJCNN 2019