关于 Polyak 步长的新视角：替代函数与负面结果
最优化与控制
2026-01-22 v2 机器学习
摘要
Polyak 步长已被证明是凸优化中的一种基本步长，在广泛的假设条件下给出了近乎最优的梯度下降速率。Polyak 步长的普适性也启发了许多具有理论保证和强大经验性能的随机变体。尽管有诸多理论结果，我们对 Polyak 步长及其变体的收敛性质和缺陷的理解仍然是不完整的，且分散在不同的分析中。我们为 Polyak 步长及其变体提出了一种新的、统一的且简单的视角，即将其视为替代损失上的梯度下降。我们表明每个变体都等价于最小化一个步长适应于保证局部曲率的替代函数。然后，我们利用一般的替代损失视角，在不同假设下对现有变体提供了统一的分析。此外，我们展示了一些负面结果，证明了某些上界中的非收敛结果确实是真实存在的。
引用
@article{arxiv.2505.20219,
title = {New Perspectives on the Polyak Stepsize: Surrogate Functions and Negative Results},
author = {Francesco Orabona and Ryan D'Orazio},
journal= {arXiv preprint arXiv:2505.20219},
year = {2026}
}