大尺度下的 SGD：平均情形分析、渐近性与步长临界性
最优化与控制
2021-02-09 v1 机器学习
概率论
机器学习
摘要
受随机矩阵理论启发，我们提出一个新框架，用于分析当样本数与维度都很大时随机梯度下降（SGD）的动力学。该框架适用于任意固定步长以及有限和设定。利用这一新框架，我们表明在随机数据的最小二乘问题上，SGD 的动力学在样本与维度均趋大时变为确定性的。此外，极限动力学由一类 Volterra 积分方程支配。该模型预测 SGD 在一个显式给出的临界步长处经历相变，这最终影响其收敛速率，我们也通过实验验证了这一点。最后，当输入数据各向同性时，我们给出动力学与平均情形收敛速率（即算法在所有可能输入上的平均复杂度）的显式表达式。这些速率相比最坏情形复杂度有显著改善。
引用
@article{arxiv.2102.04396,
title = {SGD in the Large: Average-case Analysis, Asymptotics, and Stepsize Criticality},
author = {Courtney Paquette and Kiwon Lee and Fabian Pedregosa and Elliot Paquette},
journal= {arXiv preprint arXiv:2102.04396},
year = {2021}
}