SALR：用于改善泛化的锐度感知学习率调度器
机器学习
2023-07-04 v2 机器学习
摘要
为改善深度学习中的泛化并自动化学习率调度过程，我们提出 SALR：一种旨在恢复平坦极小值的锐度感知学习率更新技术。我们的方法基于损失函数的局部锐度动态更新基于梯度的优化器的学习率。这使优化器能够在尖锐谷处自动提高学习率，以增加逃离它们的机会。我们展示了各种算法在广泛网络上采用 SALR 时的有效性。我们的实验表明，SALR 改善泛化、收敛更快，并将解驱动至显著更平坦的区域。
引用
@article{arxiv.2011.05348,
title = {SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization},
author = {Xubo Yue and Maher Nouiehed and Raed Al Kontar},
journal= {arXiv preprint arXiv:2011.05348},
year = {2023}
}