一览即剪：用于模型压缩的全局神经网络剪枝
计算机视觉与模式识别
2019-12-04 v2 机器学习
神经与进化计算
摘要
由于其高性能，深度学习模型已成为多个领域的主导方法。不幸的是，运行此类模型的大小及由此带来的计算需求可能相当高。因此，这构成了在内存和电池受限设备（如手机或嵌入式系统）上部署的局限。为应对这些限制，我们提出一种新颖而简单的剪枝方法，通过依据网络全局阈值移除整个滤波器与神经元来压缩神经网络，而无需任何层敏感度的预计算。所得模型紧凑、非稀疏，具有与未压缩模型相同的精度，且最重要的是无需特殊基础设施即可部署。我们通过生成高度压缩的模型证明了方法的可行性：在 CIFAR10 上分别为 VGG-16、ResNet-56 和 ResNet-110，相较基线未损失任何性能；以及在 ImageNet 上的 ResNet-34 和 ResNet-50，精度无显著损失。我们还提供了一个良好重训练的 30% 压缩 ResNet-50，其精度略超基础模型。此外，分别压缩了 AlexNet 和 LeNet-5 的超过 56% 和 97%。有趣的是，所得模型的剪枝模式与使用层敏感度预计算步骤的其他方法高度相似。我们的方法不仅表现出良好性能，而且更易于实现。
引用
@article{arxiv.1912.00200,
title = {Pruning at a Glance: Global Neural Pruning for Model Compression},
author = {Abdullah Salama and Oleksiy Ostapenko and Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:1912.00200},
year = {2019}
}
备注
Extended version of the ICASSP paper (https://ieeexplore.ieee.org/document/8683224)