用于结构化剪枝的神经元重要性衰退
机器学习
2022-04-14 v1 计算机视觉与模式识别
摘要
结构化剪枝通过识别并移除不重要的神经元来高效压缩网络。虽然通过对 BatchNorm 参数施加诱导稀疏的正则化可以优雅地实现这一点，但 L1 惩罚会收缩所有缩放因子，而非仅收缩多余神经元的缩放因子。为解决此问题，我们引入了一种具有有界缩放参数的简单 BatchNorm 变体，并基于此设计了一种新的正则化项，其仅抑制低重要性的神经元。在我们的方法下，不必要神经元的权重有效衰退，产生两极化的双峰重要性分布。我们表明，以此方式训练的神经网络的剪枝程度可更大且性能退化更小。我们在 CIFAR 和 ImageNet 数据集上以不同比例对 VGG 和 ResNet 架构进行一次性剪枝。对于 VGG 风格网络，我们的方法在严重剪枝情形下显著优于现有方法。
引用
@article{arxiv.2204.06404,
title = {Receding Neuron Importances for Structured Pruning},
author = {Mihai Suteu and Yike Guo},
journal= {arXiv preprint arXiv:2204.06404},
year = {2022}
}