SInGE：基于神经元相关性的积分梯度估计实现稀疏化
计算机视觉与模式识别
2022-07-12 v1
摘要
最先进计算机视觉方法在性能上的飞跃归功于深度神经网络的发展。然而，这通常伴随着可能阻碍其部署的计算代价。为了缓解这一限制，结构化剪枝是一种众所周知的技术，它包括移除通道、神经元或滤波器，通常被用于产生更紧凑的模型。在大多数情况下，需要移除的计算是基于相对重要性准则来选择的。与此同时，对可解释预测模型的需求急剧上升，推动了稳健的归因方法的发展，这些方法突出了输入图像或特征图中像素的相对重要性。在本工作中，我们讨论了现有剪枝启发式方法的局限性，包括基于幅值和基于梯度的方法。我们从归因方法中汲取灵感，设计了一种新颖的积分梯度剪枝准则，其中每个神经元的相关性被定义为在移除该神经元的路径上梯度变化的积分。此外，我们提出了一种交织的 DNN 剪枝与微调流程，以便在移除参数的同时更好地保持 DNN 的准确性。我们通过在多个数据集、架构以及剪枝场景上的广泛验证表明，所提出的方法（称为 SInGE）显著优于现有最先进的 DNN 剪枝方法。
引用
@article{arxiv.2207.04089,
title = {SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance},
author = {Edouard Yvinec and Arnaud Dapogny and Matthieu Cord and Kevin Bailly},
journal= {arXiv preprint arXiv:2207.04089},
year = {2022}
}