采用 AdaGrad 步长的 SGD：对未知参数、无界梯度与仿射方差的高概率完全自适应
机器学习
2023-06-13 v2 最优化与控制
机器学习
摘要
我们研究了采用 AdaGrad 步长的随机梯度下降（SGD）：这是一种用于一阶随机优化的流行自适应（自调优）方法。尽管已被充分研究，该方法的现有分析存在诸多缺陷：它们要么假设对问题参数有一定了解，要么施加强的全局 Lipschitz 条件，要么无法给出以高概率成立的界。我们在凸和非凸（光滑）两种情形下，对该基本方法给出了不含上述任何限制的综合性分析，该分析还支持一般的“仿射方差”噪声模型，并在低噪声和高噪声两种机制下给出尖锐的收敛速率。
引用
@article{arxiv.2302.08783,
title = {SGD with AdaGrad Stepsizes: Full Adaptivity with High Probability to Unknown Parameters, Unbounded Gradients and Affine Variance},
author = {Amit Attia and Tomer Koren},
journal= {arXiv preprint arXiv:2302.08783},
year = {2023}
}
备注
27 pages