S-Cyc：一种用于基于 ReLU 网络迭代剪枝的学习率调度策略
机器学习
2021-10-19 v1 神经与进化计算
摘要
我们探索了一种新视角，即调整学习率（LR）调度策略，以在基于 ReLU 的网络被迭代剪枝时提升其性能。我们的工作与贡献包含四个部分：（i）我们发现，随着基于 ReLU 的网络被迭代剪枝，权重梯度的分布趋于变窄。由此得出：随着网络变得更加稀疏，应使用更大的 LR 来训练剪枝后的网络。（ii）受此发现启发，我们提出一种新颖的 LR 调度策略，称为 S 型周期（S-Cyclical，S-Cyc），它通过在网络被迭代剪枝时以 S 形逐步提升 LR 上界（max_lr）来改造传统的周期 LR 调度。我们强调，S-Cyc 是一种与具体方法无关的 LR 调度策略，可应用于多种迭代剪枝方法。（iii）我们评估了所提 S-Cyc 的性能，并与四种 LR 调度基准进行比较。我们在三个前沿网络（如 VGG-19、ResNet-20、ResNet-50）与两个流行数据集（如 CIFAR-10、ImageNet-200）上的实验结果表明，S-Cyc 始终优于表现最佳的基准，提升幅度为 2.1%–3.4%，且复杂度无显著增加。（iv）我们将 S-Cyc 与 oracle 进行比较，表明 S-Cyc 达到了与通过网格搜索精细调参 max_lr 的 oracle 相当的性能。
引用
@article{arxiv.2110.08764,
title = {S-Cyc: A Learning Rate Schedule for Iterative Pruning of ReLU-based Networks},
author = {Shiyu Liu and Chong Min John Tan and Mehul Motani},
journal= {arXiv preprint arXiv:2110.08764},
year = {2021}
}
备注
7 pages main paper with 5 pages appendix