强增长条件下随机梯度下降的快速收敛性
最优化与控制
2013-08-30 v1
摘要
我们考虑优化一个光滑凸函数 ，该函数是一组可微函数 的平均值，并在 Solodov [1998] 和 Tseng [1998] 所考虑的假设下进行，即每个梯度 的范数以平均梯度 的范数的线性函数为界。我们证明，在这些假设下，具有足够小常数步长的基本随机梯度法具有 的收敛速率；若 是强凸的，则具有线性收敛速率。
引用
@article{arxiv.1308.6370,
title = {Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition},
author = {Mark Schmidt and Nicolas Le Roux},
journal= {arXiv preprint arXiv:1308.6370},
year = {2013}
}