重温SGD类方法的中心极限定理
最优化与控制
2023-06-12 v3 概率论
摘要
我们重温了随机梯度下降(SGD)类方法的中心极限定理(CLT),包括具有常数或递减阻尼参数的朴素SGD、动量SGD和Nesterov加速SGD方法。借助Lyapunov函数技巧与界估计,相较于以往结果,我们在更一般的学习率条件下为更广泛的SGD方法类建立了CLT。我们还研究了时间平均的CLT,发现其在线性情形下成立,而在非线性情形下一般不成立。我们还进行了数值测试以验证理论分析。
引用
@article{arxiv.2207.11755,
title = {Revisiting the central limit theorems for the SGD-type methods},
author = {Tiejun Li and Tiannan Xiao and Guoguo Yang},
journal= {arXiv preprint arXiv:2207.11755},
year = {2023}
}
备注
23 pages, 2 figures