FGP：面向高效卷积层剪枝的特征-梯度剪枝
计算机视觉与模式识别
2024-11-21 v1
摘要
为了在保持模型性能的同时降低计算开销，研究者提出了模型剪枝技术。其中，结构化剪枝通过移除整个卷积通道或层，显著提升了计算效率，并且与硬件加速兼容。然而，现有的仅依赖图像特征或梯度的剪枝方法常常导致冗余通道被保留，从而对推理效率产生负面影响。针对这一问题，本文提出了一种名为特征-梯度剪枝（Feature-Gradient Pruning, FGP）的新型剪枝方法。该方法结合了基于特征和基于梯度的信息，以更有效地评估不同目标类别下通道的重要性，从而更准确地识别对模型性能至关重要的通道。实验结果表明，所提出的方法在保持稳定性能的同时，提高了模型的紧凑性与实用性。在多个任务和数据集上进行的实验表明，与现有方法相比，FGP显著降低了计算成本并最小化了精度损失，凸显了其在优化剪枝结果方面的有效性。源代码可在：https://github.com/FGP-code/FGP 获取。
引用
@article{arxiv.2411.12781,
title = {FGP: Feature-Gradient-Prune for Efficient Convolutional Layer Pruning},
author = {Qingsong Lv and Jiasheng Sun and Sheng Zhou and Xu Zhang and Liangcheng Li and Yun Gao and Sun Qiao and Jie Song and Jiajun Bu},
journal= {arXiv preprint arXiv:2411.12781},
year = {2024}
}