即时剪枝：一种无需微调的可恢复剪枝方法
计算机视觉与模式识别
2022-12-27 v1
摘要
大多数现有剪枝工作资源消耗大，需要重新训练或微调剪枝后的模型以保持精度。我们提出一种基于超球面学习和损失惩罚项的免重训练剪枝方法。所提出的损失惩罚项将部分模型权重推离零值，而其余权重值被推近零值并可安全剪枝，无需重训练且精度下降可忽略。此外，我们提出的方法可通过用剪枝值的均值替换来即时恢复剪枝模型的精度。我们的方法在免重训练剪枝中取得了SOTA结果，并在ResNet-18/50和MobileNetV2上使用ImageNet数据集进行了评估。可以轻松获得精度下降仅0.47%的50%剪枝ResNet18模型。通过微调，实验结果表明与现有工作相比，我们的方法能显著提升剪枝模型的精度。例如，70%剪枝（除第一卷积层外）的MobileNetV2模型精度仅下降3.5%，远小于常规方法的7% 10%精度下降。
引用
@article{arxiv.2212.12651,
title = {Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning},
author = {Dan Liu and Xue Liu},
journal= {arXiv preprint arXiv:2212.12651},
year = {2022}
}