更柔和的剪枝，增量式正则化
计算机视觉与模式识别
2020-10-20 v1 人工智能
摘要
网络剪枝被广泛用于压缩深度神经网络（DNNs）。软滤波器剪枝（SFP）方法在训练期间将剪枝的滤波器置零，而在下一训练周期中更新它们。因此，被剪枝滤波器的训练信息被完全丢弃。为利用已训练好的被剪枝滤波器，我们提出了一种更柔和的滤波器剪枝（SRFP）方法及其变体——渐进式更柔和滤波器剪枝（ASRFP），仅以单调下降参数衰减被剪枝权重。我们的方法在各种网络、数据集和剪枝率下表现良好，也可迁移至权重剪枝。在 ILSVRC-2012 上，ASRFP 在 ResNet-34 上剪枝 40% 的参数，同时 top-1 准确率提升 1.63%，top-5 准确率提升 0.68%。理论上，SRFP 和 ASRFP 是对被剪枝滤波器的增量式正则化。此外，我们注意到 SRFP 和 ASRFP 在追求更好结果的同时减慢了收敛速度。
引用
@article{arxiv.2010.09498,
title = {Softer Pruning, Incremental Regularization},
author = {Linhang Cai and Zhulin An and Chuanguang Yang and Yongjun Xu},
journal= {arXiv preprint arXiv:2010.09498},
year = {2020}
}
备注
7 pages, ICPR2020