用于压缩 CNN 的动态结构剪枝
计算机视觉与模式识别
2023-03-20 v1 人工智能
摘要
结构剪枝是一种压缩与加速神经网络的有效方法。尽管滤波器与通道剪枝在真实加速与硬件兼容性方面优于其他结构剪枝方法，但更细粒度的剪枝方法（如通道内剪枝）有望产生更紧凑且计算高效的网络。典型的通道内剪枝方法因搜索空间庞大而采用静态且手工设计的剪枝粒度，这为其剪枝性能留下了改进空间。本文中，我们引入一种新颖的结构剪枝方法，称为动态结构剪枝，以识别通道内剪枝的最优剪枝粒度。与现有通道内剪枝方法不同，所提方法在训练深度神经网络时自动优化各层的动态剪枝粒度。为此，我们提出一种可微分组学习方法，旨在基于滤波器组的梯度学习高效学习剪枝粒度。实验结果表明，动态结构剪枝取得了最先进的剪枝性能，并在 GPU 上相比通道剪枝具有更好的真实加速。特别地，在 ImageNet 数据集上，它将 ResNet50 的 FLOPs 降低 71.85% 且无精度损失。我们的代码见 https://github.com/irishev/DSP。
引用
@article{arxiv.2303.09736,
title = {Dynamic Structure Pruning for Compressing CNNs},
author = {Jun-Hyung Park and Yeachan Kim and Junho Kim and Joon-Young Choi and SangKeun Lee},
journal= {arXiv preprint arXiv:2303.09736},
year = {2023}
}