基于滤波器间交互度量的结构化网络剪枝
计算机视觉与模式识别
2023-07-04 v1
摘要
结构化网络剪枝是一种在实际应用中直接降低计算成本同时保持 CNN 泛化性能的有效方法。然而，识别冗余滤波器是结构化网络剪枝的核心问题，当前的冗余准则仅关注单个滤波器的属性。当剪枝稀疏度增加时，这些冗余准则不够有效或高效。由于滤波器间交互也对 CNN 的预测精度有贡献，我们将滤波器间交互整合进冗余准则中。在我们的准则中，引入滤波器重要度与滤波器利用强度来反映单个及多个滤波器的决策能力。利用这一新冗余准则，我们提出了一种结构化网络剪枝方法 SNPFI（基于滤波器间交互度量的结构化网络剪枝，Structured Network Pruning by measuring Filter-wise Interaction）。在剪枝过程中，SNPFI 可根据滤波器利用强度自动分配适当的稀疏度，并通过滤波器重要度剔除无用滤波器。剪枝后，SNPFI 可通过最小化交互差异而无需迭代训练即可有效恢复被剪枝模型的性能。我们在多个常用 CNN 模型（包括 AlexNet、MobileNetv1 和 ResNet-50）以及多个图像分类数据集（包括 MNIST、CIFAR-10 和 ImageNet）上实证展示了 SNPFI 的有效性。对于所有实验用 CNN 模型，在网络压缩中计算量减少了近 60%，同时分类精度得以保持。
引用
@article{arxiv.2307.00758,
title = {Structured Network Pruning by Measuring Filter-wise Interactions},
author = {Wenting Tang and Xingxing Wei and Bo Li},
journal= {arXiv preprint arXiv:2307.00758},
year = {2023}
}