PruneNet：基于全局重要性的通道剪枝

通道剪枝是加速深度神经网络的主要方法之一。现有的大多数剪枝方法要么从头开始训练并加入稀疏诱导项（如 group lasso），要么在预训练网络中剪除冗余通道然后微调网络。这两种策略都存在一些局限：使用 group lasso 计算代价高、难以收敛，且常因正则化偏差导致性能更差；而从预训练网络开始的方法，要么在各层均匀剪枝，要么基于网络参数的基本统计量进行剪枝。这些方法要么忽略了某些 CNN 层比其他层更冗余的事实，要么未能充分识别不同层的冗余程度。在本工作中，我们研究了一种简单而有效的通道剪枝方法，该方法基于一个计算轻量但有效的数据驱动优化步骤，用于发现每层所需的宽度。在 ILSVRC-$12$ 上进行的实验证实了我们方法的有效性。在 ResNet-$50$ 上进行跨层非均匀剪枝，我们能够在匹配最先进通道剪枝结果的 FLOP 减少量的同时，实现 $0.98\%$ 的更高准确率。此外，我们展示了剪枝后的 ResNet-$50$ 网络性能优于 ResNet-$34$ 和 ResNet-$18$ 网络，且剪枝后的 ResNet-$101$ 性能优于 ResNet-$50$。