基于梯度的优化中的走廊几何
机器学习
2024-02-15 v1 机器学习
最优化与控制
摘要
当损失曲面上最速下降的连续曲线——即梯度流的解——变为直线时，我们将这些区域刻画为走廊。我们证明，走廊为基于梯度的优化提供了洞见，因为走廊正是梯度下降和梯度流遵循相同轨迹且损失线性下降的区域。因此，在走廊内部，不存在因梯度下降与梯度流之间的漂移而产生的隐式正则化效应或训练不稳定性。利用走廊上损失的线性下降特性，我们为梯度下降设计了一种学习率自适应方案；我们称此方案为走廊学习率（CLR）。CLR公式与在凸优化背景下发现的Polyak步长的一个特例一致。最近的研究表明，Polyak步长对神经网络也具有良好收敛性；我们在此通过CIFAR-10和ImageNet上的结果进一步证实了这一点。
引用
@article{arxiv.2402.08818,
title = {Corridor Geometry in Gradient-Based Optimization},
author = {Benoit Dherin and Mihaela Rosca},
journal= {arXiv preprint arXiv:2402.08818},
year = {2024}
}