模型完全训练后再剪枝真的必要吗？基于少量训练的剪枝
神经与进化计算
2019-01-25 v1
摘要
剪枝算法中的模型预训练在剪枝决策中起着重要作用。我们发现对于剪枝算法而言，过度的预训练并非必要。基于这一思想，我们提出了一种剪枝算法——基于少量训练的增加式剪枝（IPLT）。相较于基于大量预训练的传统剪枝算法，在相同的简单剪枝策略下，IPLT 具有与传统剪枝算法相竞争的压缩效果。在保证精度的前提下，IPLT 在 CIFAR-10 上对 VGG-19 可实现 8 倍至 9 倍压缩，且仅需预训练极少轮次。对于 CIFAR-10 上的 VGG-19，我们不仅能实现 10 倍测试加速，还能实现约 10 倍训练加速。目前研究主要集中于模型应用阶段的压缩与加速，而训练阶段的压缩与加速较少。我们新提出一种可在训练阶段进行压缩与加速的剪枝算法。考虑剪枝算法所需预训练量是新颖的。我们的结果具有如下启示：对于剪枝算法，过多的预训练可能并非必要。
引用
@article{arxiv.1901.08455,
title = {Really should we pruning after model be totally trained? Pruning based on a small amount of training},
author = {Li Yue and Zhao Weibin and Shang Lin},
journal= {arXiv preprint arXiv:1901.08455},
year = {2019}
}