OICSR：用于紧凑深度神经网络的出-入通道稀疏正则化
计算机视觉与模式识别
2019-07-02 v5
摘要
通道剪枝可显著加速并压缩深度神经网络。许多通道剪枝工作利用结构化稀疏正则化在训练阶段将某些通道中的所有权重置零并自动获得结构稀疏网络。然而，这些方法在各层分别施加结构化稀疏正则化，忽略了连续层之间的相关性。在本文中，我们首先将当前层的一个出通道与下一层对应的入通道组合为一个正则化组，即出-入通道。我们提出的出-入通道稀疏正则化（OICSR）考虑连续层间的相关性，以进一步保留紧凑网络的预测能力。使用 OICSR 训练将判别性特征彻底迁移至一小部分出-入通道中。相应地，OICSR 基于从两个连续层（而非单个层）计算的统计量来衡量通道重要性。最后，设计了一种全局贪心剪枝算法以迭代方式移除冗余的出-入通道。我们的方法在 CIFAR-10、CIFAR-100 和 ImageNet-1K 数据集上用包括 CifarNet、AlexNet、ResNet、DenseNet 和 PreActSeNet 在内的多种 CNN 架构进行了全面评估。值得注意的是，在 ImageNet-1K 上，我们在 ResNet-50 上减少了 37.2% 的 FLOPs，同时以 0.22% 的 top-1 准确率优于原始模型。
引用
@article{arxiv.1905.11664,
title = {OICSR: Out-In-Channel Sparsity Regularization for Compact Deep Neural Networks},
author = {Jiashi Li and Qi Qi and Jingyu Wang and Ce Ge and Yujian Li and Zhangzhang Yue and Haifeng Sun},
journal= {arXiv preprint arXiv:1905.11664},
year = {2019}
}
备注
Accepted to CVPR 2019, the pruned ResNet-50 model has be released at: https://github.com/dsfour/OICSR