我如何学会不再担忧并爱上重训练
机器学习
2023-03-14 v3
摘要
许多神经网络剪枝方法由若干迭代的训练与剪枝步骤组成，看似在剪枝后显著损失性能，随后在重训练阶段恢复。Renda等人（2020）与Le和Hua（2021）的近期工作展示了重训练阶段学习率调度的重要性，并针对IMP（Han等人，2015）提出了选择此类调度的特定启发式方法。我们将这些发现置于Li等人（2020）关于固定训练预算内模型训练结果的背景下，并证明因此可使用简单线性学习率调度大幅缩短重训练阶段。在改进现有重训练方法的基础上，我们额外提出一种自适应选择线性调度初值的方法。更进一步，我们提议类似地对初始稠密训练阶段施加预算，并表明所得简单高效的方法能够优于那些试图在训练中稀疏化网络、显著更复杂或重度参数化的前沿方法。这些发现不仅推进了我们对重训练阶段的理解，更广义地质疑了应避免重训练需求并通过将稀疏化过程纳入标准训练来减轻"硬"剪枝负面影响的固有信念。
引用
@article{arxiv.2111.00843,
title = {How I Learned to Stop Worrying and Love Retraining},
author = {Max Zimmer and Christoph Spiegel and Sebastian Pokutta},
journal= {arXiv preprint arXiv:2111.00843},
year = {2023}
}
备注
ICLR2023 camera-ready version, 9 pages main text, 34 pages appendix, 2 tables, 3 figures in main text