SGD 及其连续时间对应物的收敛速率与逼近结果
最优化与控制
2021-02-02 v2 机器学习
摘要
本文对具有非递增步长的随机梯度下降（SGD）提出了详尽的理论分析。首先，我们证明定义 SGD 的递推关系可通过适当的耦合被可证明地由非时齐随机微分方程（SDE）的解逼近。在批量噪声这一特定情形下，我们利用 Stein 方法的最新进展改进了结果。接着，受近期通过连续对应物分析确定性与随机优化方法的启发，我们研究了相关连续过程的长时间行为并建立了非渐近界。为此，我们发展了具有独立意义的新比较技术。将这些技术适配到离散情形后，我们证明了相应 SGD 序列具有相同的结论。在我们的分析中，我们在比先前工作更弱的假设下改进了凸设定下 SGD 的非渐近界。最后，我们还在多种条件下建立了有限时间收敛结果，包括对著名的 Łojasiewicz 不等式的放宽，其可应用于一类非凸函数。
引用
@article{arxiv.2004.04193,
title = {Convergence rates and approximation results for SGD and its continuous-time counterpart},
author = {Xavier Fontaine and Valentin De Bortoli and Alain Durmus},
journal= {arXiv preprint arXiv:2004.04193},
year = {2021}
}
备注
94 pages, 4 figures