基于权重依赖多准则的通道剪枝
计算机视觉与模式识别
2021-04-21 v4 机器学习
图像与视频处理
摘要
通道剪枝已证明其在压缩卷积网络(ConvNets)方面的有效性。在许多相关方法中，输出特征图的重要性仅由其关联滤波器决定。然而，这些方法忽略了下一层中随该特征图移除而消失的一小部分权重，即忽视了权重依赖现象。此外，许多剪枝方法仅使用单一准则评估，并以试错方式寻找剪枝结构与精度的折中，这可能耗时良多。本文提出一种基于权重依赖多准则的通道剪枝算法CPMC，可直接压缩预训练模型。CPMC从关联权重值、计算代价和参数量三方面定义通道重要性。依据权重依赖现象，CPMC通过评估关联滤波器及下一层对应部分权重得到通道重要性，随后使用全局归一化实现跨层比较，最后通过全局排序移除较不重要的通道。CPMC可压缩多种CNN模型，包括VGGNet、ResNet和DenseNet在各种图像分类数据集上的模型。大量实验表明CPMC显著优于其他方法。
引用
@article{arxiv.2011.03240,
title = {Channel Pruning via Multi-Criteria based on Weight Dependency},
author = {Yangchun Yan and Rongzuo Guo and Chao Li and Kang Yang and Yongjun Xu},
journal= {arXiv preprint arXiv:2011.03240},
year = {2021}
}
备注
8 pages,IJCNN2021