HRel：基于激活图与类标签高相关性的滤波器剪枝
摘要
本文提出一种基于信息瓶颈理论的滤波器剪枝方法，该方法使用一种称为互信息（Mutual Information, MI）的统计度量。滤波器与类标签之间的 MI（也称为“相关性”（Relevance））利用滤波器的激活图与标注计算得出。具有高相关性（HRel）的滤波器被认为更为重要。因此，与类标签互信息较低的最不重要滤波器被剪枝。与现有的基于 MI 的剪枝方法不同，所提方法纯粹基于滤波器对应激活图与类标签的关系来确定滤波器的重要性。利用 LeNet-5、VGG-16、ResNet-56、ResNet-110 和 ResNet-50 等架构在 MNIST、CIFAR-10 和 ImageNet 数据集上证明所提剪枝方法的有效性。所提方法在 LeNet-5、VGG-16、ResNet-56、ResNet-110 和 ResNet-50 架构上取得了最先进的剪枝结果。在实验中，我们分别从 LeNet-5、VGG-16、ResNet-56、ResNet-110 和 ResNet-50 中剪枝了 97.98%、84.85%、76.89%、76.95% 和 63.99% 的浮点运算（Floating Point Operation, FLOP）。所提 HRel 剪枝方法优于近期最先进的滤波器剪枝方法。即使在从 LeNet-5 的卷积层大幅剪枝滤波器后（即分别从 20、50 减至 2、3），仅观察到 0.52% 的微小精度下降。值得注意的是，对于 VGG-16，参数量减少了 94.98%，而 top-1 精度仅下降 0.36%。ResNet-50 在剪枝 66.42% 的 FLOP 后，top-5 精度下降了 1.17%。除剪枝外，本文还针对多种卷积神经网络架构分析了信息瓶颈理论的信息平面动态及其剪枝影响。
引用
@article{arxiv.2202.10716,
title = {HRel: Filter Pruning based on High Relevance between Activation Maps and Class Labels},
author = {CH Sarvani and Mrinmoy Ghorai and Shiv Ram Dubey and SH Shabbeer Basha},
journal= {arXiv preprint arXiv:2202.10716},
year = {2022}
}