带线搜索与 Polyak 步长的自适应 SGD：非凸收敛性与加速速率

Haotian Wu

带线搜索与 Polyak 步长的自适应 SGD：非凸收敛性与加速速率

最优化与控制 2025-12-02 v4 机器学习

作者: Haotian Wu

摘要

我们将 [Jiang and Stich, 2024] 中 AdaSLS 和 AdaSPS 的收敛性分析推广到非凸情形，给出了非凸优化中自适应 Armijo 线搜索随机梯度下降（AdaSLS）与 Polyak 步长随机梯度下降（AdaSPS）的统一收敛性分析。我们的贡献包括：(1) 对一般非凸光滑函数给出 $\mathcal{O}(1/\sqrt{T})$ 收敛速率，(2) 在拟凸性与插值条件下给出 $\mathcal{O}(1/T)$ 速率，(3) 在强增长条件下对一般非凸函数给出 $\mathcal{O}(1/T)$ 速率。

关键词

随机梯度下降自适应线搜索 Polyak 步长非凸优化收敛速率拟凸性强增长条件 Armijo 条件

引用

@article{arxiv.2511.20207,
  title  = {Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates},
  author = {Haotian Wu},
  journal= {arXiv preprint arXiv:2511.20207},
  year   = {2025}
}

备注

Informal draft uploaded in error; lacks necessary citations

相关论文

查看更多相关论文 →

机器学习 · 计算机科学

具有 Polyak 步长与线搜索的自适应 SGD：鲁棒收敛与方差缩减