UCP：用于深度卷积神经网络压缩与加速的均匀通道剪枝
计算机视觉与模式识别
2020-10-06 v1 人工智能
摘要
为将深度 CNN 应用于移动终端与便携设备，近来许多学者致力于压缩与加速深度卷积神经网络。基于此，我们提出一种新颖的均匀通道剪枝 (UCP) 方法来剪枝深度 CNN，并利用改进的 squeeze-and-excitation 模块 (MSEB) 来衡量卷积层中通道的重要性。不重要的通道及其相关的卷积核被直接剪除，大幅降低了存储成本与计算量。ResNet 中有两类残差块。对于带瓶颈的 ResNet，我们采用传统 CNN 的剪枝方法修剪块中间的 3x3 卷积层。对于带基础残差块的 ResNet，我们提出一种方法一致地剪枝同一阶段中的所有残差块，以确保紧凑网络结构在维度上正确。考虑到网络剪枝后丢失大量信息，且剪枝幅度越大丢失信息越多，我们不选择微调而是从头重训练以恢复剪枝后网络的精度。最后，我们在 CIFAR-10、CIFAR-100 和 ILSVRC-2012 上验证了我们的方法用于图像分类。结果表明，当剪枝率较小时，从头重训练后的紧凑网络性能优于原始网络。即便剪枝幅度较大，精度也能保持或仅轻微下降。在 CIFAR-100 上，当参数与 FLOPs 分别减少多达 82% 和 62% 时，VGG-19 重训练后精度甚至提升了 0.54%。
引用
@article{arxiv.2010.01251,
title = {UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration},
author = {Jingfei Chang and Yang Lu and Ping Xue and Xing Wei and Zhen Wei},
journal= {arXiv preprint arXiv:2010.01251},
year = {2020}
}
备注
21 pages,7 figures and 5 tables