基于摊销推断显著图的解释引导网络剪枝
计算机视觉与模式识别
2022-09-08 v1 机器学习
摘要
卷积神经网络(CNNs)的压缩对于在资源受限的边缘设备上部署这些模型至关重要。现有的 CNN 通道剪枝算法在复杂模型上已取得大量成功。它们从不同角度处理剪枝问题,并使用不同度量来指导剪枝过程。然而,这些度量主要关注模型的“输出”或“权重”,忽视了其“解释”信息。为填补这一空白,我们提出从新视角解决通道剪枝问题,利用模型的解释来引导剪枝过程,从而利用模型输入与输出的信息。然而,现有解释方法无法部署以实现我们的目标,因为它们要么剪枝效率低下,要么可能给出不一致的解释。我们通过引入一个选择器模型来应对这一挑战,该模型为剪枝后的模型预测实时平滑显著掩码。我们通过类径向基函数(Radial Basis Function, RBF)对解释掩码的分布进行参数化,以将自然图像的几何先验纳入选择器模型的归纳偏置中。因此,我们可以获得解释的紧凑表示,以降低剪枝方法的计算成本。我们利用选择器模型,通过最大化剪枝模型与原始模型的解释表示相似性来引导网络剪枝。在 CIFAR-10 和 ImageNet 基准数据集上的大量实验证明了我们提出方法的有效性。我们的实现见 \url{https://github.com/Alii-Ganjj/InterpretationsSteeredPruning}。
引用
@article{arxiv.2209.02869,
title = {Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps},
author = {Alireza Ganjdanesh and Shangqian Gao and Heng Huang},
journal= {arXiv preprint arXiv:2209.02869},
year = {2022}
}
备注
Accepted to the European Conference on Computer Vision (ECCV 2022)