GHFP：渐进式硬滤波器剪枝
计算机视觉与模式识别
2020-11-20 v1 机器学习
图像与视频处理
摘要
滤波器剪枝被广泛用于降低深度学习计算量，使深度神经网络（DNNs）能够部署于资源受限设备。传统的硬滤波器剪枝（HFP）方法将剪枝后的滤波器置零并停止更新，从而缩减模型的搜索空间。相反，软滤波器剪枝（SFP）仅将剪枝后的滤波器置零，并在后续训练轮次中持续更新，从而保持网络容量。然而，SFP 及其变体因其较大的搜索空间而收敛远慢于 HFP。我们的问题是，能否将基于 SFP 的方法与 HFP 结合，以取得更优性能并加速收敛。首先，我们推广基于 SFP 的方法与 HFP 以分析其特性。随后提出一种渐进式硬滤波器剪枝（GHFP）方法，在训练与剪枝过程中从基于 SFP 的方法平滑切换至 HFP，从而初期保持较大搜索空间，逐步缩减模型容量以确保适中的收敛速度。在 CIFAR-10/100 上的实验结果表明，我们的方法达到了最先进（SOTA）性能。
引用
@article{arxiv.2011.03170,
title = {GHFP: Gradually Hard Filter Pruning},
author = {Linhang Cai and Zhulin An and Yongjun Xu},
journal= {arXiv preprint arXiv:2011.03170},
year = {2020}
}