基于局部二次近似的自动、动态且近最优学习率设定

在深度学习任务中，学习率决定了每次迭代的更新步长，在基于梯度的优化中起着关键作用。然而，实践中合适学习率的确定通常依赖主观判断。本工作中，我们提出一种基于局部二次近似（local quadratic approximation, LQA）的新优化方法。在每次更新步中，给定梯度方向，我们将损失函数局部近似为关于学习率的标准二次函数。随后，我们提出一种近似步以计算高效的方式获得近最优学习率。所提出的 LQA 方法具有三个重要特征。首先，学习率在每次更新步中自动确定。其次，它根据当前损失函数值与参数估计动态调节。第三，在梯度方向固定的情况下，所提方法带来关于损失函数近乎最大的下降。我们进行了充分的实验以证明所提 LQA 方法的优势。