常步长随机梯度下降的误差下界
最优化与控制
2019-10-21 v1 机器学习
摘要
随机梯度下降（SGD）在现代机器学习中起着核心作用。尽管关于 SGD 误差上界的工作很多，但对 SGD 误差下界的了解却很少。在本文中，我们研究常步长 SGD 的收敛性。我们给出了具有 Lipschitz 梯度的潜在非凸目标函数下 SGD 的误差下界。据我们所知，这是首个在无强凸假设下的 SGD 误差下界分析。我们用实验来说明我们的理论结果。
引用
@article{arxiv.1910.08212,
title = {Error Lower Bounds of Constant Step-size Stochastic Gradient Descent},
author = {Zhiyan Ding and Yiding Chen and Qin Li and Xiaojin Zhu},
journal= {arXiv preprint arXiv:1910.08212},
year = {2019}
}