基于特征相关性分数的卷积神经网络训练期渐进式通道剪枝

深度神经网络的巨大推理成本可通过网络压缩来降低。剪枝是用于深度网络压缩的主要方法之一。然而，现有的剪枝技术存在以下一个或多个局限：1) 由于剪枝和微调阶段，在算力密集的训练阶段之上产生额外能耗；2) 基于特定层统计的逐层剪枝，忽略网络中误差传播的影响；3) 缺乏用于全局确定重要通道的高效估计；4) 非结构化剪枝需要专用硬件才能有效使用。为解决上述所有问题，我们提出一种简单而有效的训练期渐进式通道剪枝方法，使用一种称为特征相关性分数（feature relevance score）的新型数据驱动度量。所提技术通过在训练阶段以固定间隔以结构化方式剪除最不重要的通道，消除了额外的重训练周期。特征相关性分数有助于高效评估每个通道对网络判别能力的贡献。我们在 VGG 和 ResNet 等架构以及 CIFAR-10、CIFAR-100 和 ImageNet 等数据集上验证了所提方法的有效性，并在精度损失小于 $1\%$ 的情况下成功实现显著的模型压缩。尤其在 ResNet-110 上训练的 CIFAR-10 数据集上，与未剪枝网络相比，我们的方法实现了 $2.4\times$ 压缩和 $56\%$ 的 FLOPs 减少，精度下降仅为 $0.01\%$。