增长条件下加速随机梯度下降的收敛性分析
最优化与控制
2023-11-01 v4
摘要
我们研究了在增长条件下，针对强凸目标的加速随机梯度下降的收敛性；增长条件是指随机梯度方差由一个随全梯度增长的乘积项和一个常数加性项所界定。借助增长条件这一视角，我们考察了四种广泛使用的加速方法：Nesterov加速方法（NAM）、鲁棒动量方法（RMM）、加速对偶平均方法（DAM+）和隐式DAM+（iDAM+）。尽管已知这些方法在随机梯度方差有界条件下能改善SGD的收敛速率，但它们的乘积噪声如何影响收敛速率尚不清楚。本文中，我们表明即使在增长条件下，这些方法也都能以加速收敛速率（相较于SGD）收敛到最优解的邻域。具体而言，NAM、RMM、iDAM+仅在温和乘积噪声下享有加速，而DAM+即使在较大乘积噪声下也享有加速。此外，我们提出了一种通用的尾部平均方案，使DAM+和iDAM+的加速速率几乎达到理论下界（在方差项上至多相差对数因子）。我们进行了数值实验以支持我们的理论结论。
引用
@article{arxiv.2006.06782,
title = {Convergence Analysis of Accelerated Stochastic Gradient Descent under the Growth Condition},
author = {You-Lin Chen and Sen Na and Mladen Kolar},
journal= {arXiv preprint arXiv:2006.06782},
year = {2023}
}
备注
37 pages