Armijo 线搜索可使（随机）梯度下降在理论上更快
机器学习
2026-02-25 v4 最优化与控制
机器学习
摘要
Armijo 线搜索（Armijo-LS）是设置梯度下降（GD）步长的标准方法。对于光滑函数，Armijo-LS 缓解了无需知道全局光滑常数 L 的问题，并自适应于"局部"光滑性，使 GD 更快收敛。现有理论分析表明，使用 Armijo-LS 的 GD（GD-LS）相较于使用 1/L 步长的 GD（记为 GD(1/L)）可获得常数因子改进。我们加强了这些结果，证明若目标函数满足某种非均匀光滑条件，GD-LS 可以获得比 GD(1/L) 更快的收敛速率。特别地，我们证明对于逻辑回归和多类分类对应的凸目标函数，GD-LS 可以以线性速率收敛到最优解，从而改进 GD(1/L) 的次线性收敛。此外，对于满足梯度支配的非凸目标函数（例如对应于 RL 中 softmax 策略梯度或带逻辑链接函数的广义线性模型），GD-LS 可以匹配针对这些特定设置设计的算法的快速收敛。最后，我们在插值假设下分析了凸损失上使用随机线搜索的随机梯度下降的收敛性。
引用
@article{arxiv.2503.00229,
title = {Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster},
author = {Sharan Vaswani and Reza Babanezhad},
journal= {arXiv preprint arXiv:2503.00229},
year = {2026}
}