深度卷积神经网络的渐近软滤波剪枝
计算机视觉与模式识别
2019-11-12 v4
摘要
更深更宽的卷积神经网络（CNNs）取得优越性能，却带来昂贵的计算代价。加速此类过参数化神经网络已受到越来越多的关注。典型的剪枝算法是三阶段流程，即训练、剪枝与重训练。主流方法在重训练期间将剪枝后的滤波器固定为零，从而显著缩小优化空间。此外，它们起初直接剪掉大量滤波器，会导致不可恢复的信息损失。为解决这些问题，我们提出一种渐近软滤波剪枝（ASFP）方法来加速深度神经网络的推理过程。首先，我们在重训练阶段更新被剪枝的滤波器。因此，剪枝模型的优化空间不会缩小，而是与原始模型相同。如此，模型有足够容量从训练数据中学习。其次，我们渐近地剪枝网络。我们先剪掉少量滤波器，并在训练过程中渐近剪掉更多滤波器。借助渐近剪枝，训练集的信息会逐渐集中于剩余滤波器，故后续的训练与剪枝过程将保持稳定。实验显示了我们的 ASFP 在图像分类基准上的有效性。值得注意的是，在 ILSVRC-2012 上，我们的 ASFP 在 ResNet-50 上减少超过 40% 的 FLOPs，仅带来 0.14% 的 top-5 精度下降，比软滤波剪枝（SFP）高出 8%。
引用
@article{arxiv.1808.07471,
title = {Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks},
author = {Yang He and Xuanyi Dong and Guoliang Kang and Yanwei Fu and Chenggang Yan and Yi Yang},
journal= {arXiv preprint arXiv:1808.07471},
year = {2019}
}
备注
Extended Journal Version of arXiv:1808.06866