CR-SFP：学习软滤波器剪枝的一致性表示
计算机视觉与模式识别
2023-12-20 v1
摘要
软滤波器剪枝（SFP）已成为一种有效的剪枝技术，允许被剪枝的滤波器进行更新并有机会重新生长到网络中。然而，这种剪枝策略以交替方式应用训练和剪枝，不可避免地导致训练时的重构网络（R-NN）与推理时的剪枝网络（P-NN）之间的表示不一致，从而导致性能下降。在本文中，我们提出通过学习软滤波器剪枝的一致性表示来缩小这一差距，称为 CR-SFP。具体而言，对于每个训练步骤，CR-SFP 使用相同训练数据的不同失真版本同时优化 R-NN 和 P-NN，并通过双向 KL 散度损失最小化它们的后验分布以强制它们保持一致。同时，R-NN 和 P-NN 共享骨干参数，因此仅引入了额外的分类器参数。训练后，我们可以导出 P-NN 用于推理。CR-SFP 是一个简单而有效的训练框架，可在不引入任何额外推理成本的情况下提高 P-NN 的准确性。它还可以与各种剪枝标准和损失函数结合使用。大量实验表明，我们的 CR-SFP 在各种 CNN 架构上均取得了一致的改进。值得注意的是，在 ImageNet 上，我们的 CR-SFP 在 ResNet18 上减少了超过 41.8% 的 FLOPs，top-1 准确率达到 69.2%，在相同训练设置下将 SFP 提高了 2.1%。代码将在 GitHub 上公开。
引用
@article{arxiv.2312.11555,
title = {CR-SFP: Learning Consistent Representation for Soft Filter Pruning},
author = {Jingyang Xiang and Zhuangzhi Chen and Jianbiao Mei and Siqi Li and Jun Chen and Yong Liu},
journal= {arXiv preprint arXiv:2312.11555},
year = {2023}
}
备注
11 pages, 4 figures