通过被动滤波器剪枝实现高效CNN
机器学习
2025-08-27 v1 人工智能
计算机视觉与模式识别
信号处理
摘要
卷积神经网络（CNNs）已在各类应用中展现出最先进的性能。然而，由于其高计算复杂度与内存存储需求，CNNs 极为消耗资源。近期在实现 CNNs 计算效率方面的努力涉及滤波器剪枝方法，其依据滤波器的“重要性”剔除部分滤波器。现有滤波器剪枝方法多数为“主动”式——使用数据集并生成特征图以量化滤波器重要性，或为“被动”式——利用滤波器的逐元素范数（entry-wise norm）在不涉及数据的情况下计算重要性。在需从网络中剪除大量滤波器的高剪枝率下，逐元素范数方法剔除范数相对较小的滤波器，却未考虑其在产生节点输出中的重要性，导致性能下降。为此，我们提出一种被动滤波器剪枝方法，依据滤波器在产生输出中的贡献、通过考量滤波器的算子范数（operator norm）进行剪枝。所提剪枝方法相较逐元素范数剪枝方法能更好地泛化至各类 CNNs。与现有主动滤波器剪枝方法相比，所提剪枝方法在计算滤波器重要性上至少快 4.5 倍，且能达到与主动滤波器剪枝方法相近的性能。所提剪枝方法的有效性在音频场景分类与图像分类上基于 VGGish、DCASE21_Net、VGG-16 及 ResNet-50 等多种 CNN 架构得到评估。
引用
@article{arxiv.2304.02319,
title = {Efficient CNNs via Passive Filter Pruning},
author = {Arshdeep Singh and Mark D. Plumbley},
journal= {arXiv preprint arXiv:2304.02319},
year = {2025}
}