基于可融合残差卷积块的深度神经网络层剪枝
计算机视觉与模式识别
2020-12-01 v1
摘要
为了在资源受限设备上部署深度卷积神经网络(CNNs)，已发展出许多针对滤波器和权重的模型剪枝方法，而针对层剪枝的方法甚少。然而，相较于滤波器剪枝与权重剪枝，在相同FLOPs和参数量被剪枝时，层剪枝所得的紧凑模型因内存中数据搬移更少而具有更少的推理时间与运行内存占用。本文提出一种使用可融合残差卷积块(ResConv)的简单层剪枝方法，其通过向单个卷积层插入带可训练信息控制参数的捷径连接实现。在训练中使用ResConv结构可提升网络精度并训练深层普通网络，且因ResConv在训练后被融合为普通卷积层而在推理过程中不增加额外计算。对于层剪枝，我们将网络的卷积层转换为带层缩放因子的ResConv。在训练过程中采用L1正则化使缩放因子稀疏，从而自动识别并移除不重要层，得到层数减少的模型。我们的剪枝方法在不同数据集上取得了优于现有最优方法的压缩与加速性能，且在低剪枝率下无需重训练。例如，使用ResNet-110，我们移除了55.5%的参数实现65.5%的FLOPs削减，在CIFAR-10上top-1精度仅损失0.13%。
引用
@article{arxiv.2011.14356,
title = {Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks},
author = {Pengtao Xu and Jian Cao and Fanhua Shang and Wenyu Sun and Pu Li},
journal= {arXiv preprint arXiv:2011.14356},
year = {2020}
}