如何衰减你的学习率

复杂学习率调度已成为深度学习不可或缺的一部分。我们通过经验发现，常见的精细调整调度在权重范数反弹后衰减学习率。这促成了ABEL的提出：一种通过跟踪权重范数来衰减学习率的自动调度器。ABEL的性能与调优调度相当，且对其参数更为鲁棒。通过在视觉、NLP和RL中的大量实验，我们表明若权重范数不反弹，我们可进一步简化调度且不损失性能。在此类情况下，复杂调度与训练末期带衰减的恒定学习率性能相近。