基于信息容量与独立性的滤波器剪枝
计算机视觉与模式识别
2024-06-13 v2 计算复杂性
摘要
滤波器剪枝已广泛用于对卷积神经网络（CNNs）进行压缩和加速。然而，由于滤波器选择存在偏差且计算代价高昂，现有方法仍远未达实用。本文提出一种新的滤波器剪枝方法，以可解释、多视角且轻量的方式选择滤波器。具体而言，我们从个体和整体两个视角评估滤波器的贡献。针对每个滤波器所含信息量，提出称为信息容量的新度量。受信息论启发，我们利用可解释的熵来度量信息容量，并发展了特征引导的近似过程。针对滤波器间的相关性，设计了另一称为信息独立性的度量。由于上述度量以简单而有效的方式评估，我们得以以更低计算代价识别并剪枝最不重要的滤波器。我们在基准数据集上使用多种广泛采用的 CNN 架构进行了综合实验以评估方法性能。例如，在 ILSVRC-2012 上，对于 ResNet-50，我们的方法在精度仅下降 2.64% 的情况下，将 FLOPs 降低 77.4%、参数降低 69.3%，优于 SOTA 方法。
引用
@article{arxiv.2303.03645,
title = {Filter Pruning based on Information Capacity and Independence},
author = {Xiaolong Tang and Shuo Ye and Yufeng Shi and Tianheng Hu and Qinmu Peng and Xinge You},
journal= {arXiv preprint arXiv:2303.03645},
year = {2024}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (IEEE TNNLS).The code will be available at https://github.com/txl-hub/ICI