面向CNN全网滤波剪枝的贪心层次化方法

深度卷积神经网络（CNN）在许多计算机视觉任务中取得了令人印象的性能。然而，它们的大型模型尺寸需要巨大的计算资源，使得从现有预训练CNN中剪除冗余滤波器成为在资源受限设备上开发高效模型的必要任务。整个网络滤波剪枝算法会从每个层剪除不同比例的滤波器，从而提供更大的灵活性。当前的整个网络剪枝方法要么由于需要使用训练数据集计算每个被剪滤波器的损失而计算成本高，要么使用各种启发式/学习准则来确定每个层的剪枝比例。本文提出了一种两种层次的贪心方法，用于整个网络滤波剪枝，该方法高效且使用分类损失作为最终准则。较低层算法（称为滤波剪枝）基于滤波权重的线性近似建立稀疏近似公式。我们探索了两种算法：基于正交匹配 Pursuit的贪心选择和贪心后向剪枝方法。后向剪枝算法使用一种新型闭形式误差准则高效选择每个阶段的最优滤波器，从而使整个算法大大加快。较高层算法（称为层选择）使用全局剪枝准则贪心选择最佳被剪层（使用滤波选择算法进行剪枝）。我们针对两种不同的全局剪枝准则提出了算法：(1)层级相对误差（HBGS），和(2)最终分类误差（HBGTS）。我们的算法在ResNet18、ResNet32、ResNet56、VGG16和ResNext101上优于最先进的剪枝方法。该方法将ResNext101的RAM需求从7.6 GB降低到1.5 GB，并在CIFAR-10上以94%的FLOPS减少而不损失精度。