开放问题：梯度下降的即时收敛率

Guy Kornowski; Ohad Shamir

开放问题：梯度下降的即时收敛率

最优化与控制 2024-06-21 v1 机器学习

作者: Guy Kornowski , Ohad Shamir

在 arXiv 上查看 ↗ PDF ↗

摘要

最近的研究表明，纯梯度下降可以通过仅改变步长序列来加速光滑凸目标函数。我们指出，这可能导致异常大的误差持续存在，因此提出问题：是否存在任何步长方案能够在任意停止时间T上加速经典的 $\mathcal{O}(1/T)$ 收敛率？

关键词

梯度下降收敛率步长凸优化光滑凸函数

引用

@article{arxiv.2406.13888,
  title  = {Open Problem: Anytime Convergence Rate of Gradient Descent},
  author = {Guy Kornowski and Ohad Shamir},
  journal= {arXiv preprint arXiv:2406.13888},
  year   = {2024}
}

备注

COLT 2024 open problem; 5 pages

相关论文

查看更多相关论文 →