面向CNN的增强线性表示冗余滤波器剪枝
计算机视觉与模式识别
2023-10-11 v1 人工智能
摘要
结构化网络剪枝优于非结构化方法，因为其能利用蓬勃发展的并行计算技术。本文提出一种新的结构化剪枝方法。首先，为创造更多结构化冗余，我们提出一个由同一层不同特征图相关系数矩阵计算得出的数据驱动损失函数项，称为CCM-loss。该损失项能鼓励神经网络在从头训练过程中学习特征图间更强的线性表示关系，从而在后继剪枝中移除更多同质部分。CCM-loss为我们提供了除L*-范数正则化（侧重于产生零值）之外的另一种通用先验数学工具，以生成更多但不同类型冗余。此外，我们设计了一种基于主成分分析的匹配通道选择策略，以挖掘CCM-loss的最大潜在能力。在新策略中，我们主要关注网络信息流的一致性与完整性。与经验性硬编码每层保留比例不同，我们的通道选择策略能根据预训练模型的具体情况动态调整每层保留比例，将剪枝率推向极限。值得注意的是，在Cifar-10数据集上，我们的方法对剪枝后VGG-16仅用1.40M参数和49.60M FLOPs取得了93.64%准确率，参数和FLOPs剪枝率分别为90.6%和84.2%。对于ImageNet上训练的ResNet-50，我们的方法在准确率76.23%下分别实现42.8%和47.3%的存储与计算削减。代码见https://github.com/Bojue-Wang/CCM-LRR。
引用
@article{arxiv.2310.06344,
title = {Filter Pruning For CNN With Enhanced Linear Representation Redundancy},
author = {Bojue Wang and Chunmei Ma and Bin Liu and Nianbo Liu and Jinqi Zhu},
journal= {arXiv preprint arXiv:2310.06344},
year = {2023}
}