单遍SGD在最小二乘问题上的高维极限

我们给出了在最小二乘问题上单遍单批次随机梯度下降（SGD）的高维极限描述。该极限在非消失步长下取得，且样本数与问题维度成比例相关。该极限用高维随机微分方程描述，并被证明可近似SGD的状态演化。作为推论，统计风险被证明可由一个卷积型Volterra方程的解近似，且当维度趋于无穷时误差消失。收敛意义为最弱意义上显示两过程的统计风险一致。这与现有分析的区别在于所给出的高维极限类型以及样本协方差结构的普遍性。