基于随机梯度的神经网络剪枝重要性估计
机器学习
2023-11-01 v1
摘要
全局神经元重要性估计被用于出于效率原因对神经网络进行剪枝。为确定每个神经元或卷积核的全局重要性，现有大多数方法使用激活信息或梯度信息或二者兼用，这需要大量带标签样本。在本工作中，我们利用启发式方法推导出类似于基于泰勒一阶(TaylorFO)近似的方法的重要性估计。我们将所提方法命名为 TaylorFO-abs 和 TaylorFO-sq。我们提出两种附加方法来改进这些重要性估计方法。首先，我们从网络的最后一层传播随机梯度，从而避免使用带标签样本。其次，我们在传播前对最后一层输出的梯度幅值进行归一化，使得所有样本对重要性分数的贡献相似。当在 CIFAR-100 和 STL-10 数据集上的 ResNet 和 VGG 架构中进行测试时，我们结合附加技术的方法优于先前的方法。此外，我们的方法也能补充现有方法，并在与之结合时提升其性能。
引用
@article{arxiv.2310.20203,
title = {Importance Estimation with Random Gradient for Neural Network Pruning},
author = {Suman Sapkota and Binod Bhattarai},
journal= {arXiv preprint arXiv:2310.20203},
year = {2023}
}
备注
7 pages, 2 figures, ICLR 2023 Workshop on Sparsity in Neural Networks. arXiv admin note: text overlap with arXiv:2306.13203