关于随机梯度方法的几乎必然收敛速率
机器学习
2022-07-12 v2 最优化与控制
摘要
文献中绝大多数随机梯度方法的收敛速率分析集中于期望收敛，而轨迹意义上的几乎必然收敛对于确保随机算法的任意实现以概率一收敛显然十分重要。此处我们对随机梯度下降（SGD）、随机重球法（SHB）和随机Nesterov加速梯度（SNAG）方法提供统一的几乎必然收敛速率分析。我们首次证明，这些随机梯度方法在强凸函数上获得的几乎必然收敛速率可任意接近其可能的最优收敛速率。对于非凸目标函数，我们不仅证明平方梯度范数的加权平均几乎必然收敛到零，而且算法的末次迭代也如此。我们进一步给出了随机梯度方法在弱凸光滑函数上的末次迭代几乎必然收敛速率分析，这与文献中大多数仅给出迭代加权平均期望收敛的结果形成对比。
引用
@article{arxiv.2202.04295,
title = {On Almost Sure Convergence Rates of Stochastic Gradient Methods},
author = {Jun Liu and Ye Yuan},
journal= {arXiv preprint arXiv:2202.04295},
year = {2022}
}
备注
21 pages, published in the Proceedings of Thirty Fifth Conference on Learning Theory (COLT 2022)