梯度下降精确收敛率的证明
最优化与控制
2025-03-27 v2
摘要
我们证明了梯度下降法在 上的光滑强凸优化问题中,最坏情况下的精确收敛率。具体而言,假设目标函数 为 -强凸且 -光滑,我们确定满足不等式 的最小可能值 。该结果此前在 时由 Drori 和 Teboulle 猜测, 时则由 Taylor、Hendrickx 和 Glineur 猜测。
引用
@article{arxiv.2412.04427,
title = {A Proof of the Exact Convergence Rate of Gradient Descent},
author = {Jungbin Kim},
journal= {arXiv preprint arXiv:2412.04427},
year = {2025}
}
备注
Part I and Part II are merged