中文

梯度下降精确收敛率的证明

最优化与控制 2025-03-27 v2

摘要

我们证明了梯度下降法在 Rd\mathbb{R}^d 上的光滑强凸优化问题中,最坏情况下的精确收敛率。具体而言,假设目标函数 ffμ\mu-强凸且 LL-光滑,我们确定满足不等式 f(xN)fτx0x2f(x_{N})-f_{*} \leq\tau\|x_{0}-x_{*}\|^{2} 的最小可能值 τ\tau。该结果此前在 μ=0\mu=0 时由 Drori 和 Teboulle 猜测,μ>0\mu>0 时则由 Taylor、Hendrickx 和 Glineur 猜测。

关键词

引用

@article{arxiv.2412.04427,
  title  = {A Proof of the Exact Convergence Rate of Gradient Descent},
  author = {Jungbin Kim},
  journal= {arXiv preprint arXiv:2412.04427},
  year   = {2025}
}

备注

Part I and Part II are merged