最小批量梯度下降在最小二乘回归中的误差动力学

我们研究最小批量梯度下降带随机重洗（random reshuffling）在最小二乘回归中的离散动力学。我们表明训练误差和泛化误差取决于样本交叉协方差矩阵$Z$，该矩阵介于原始特征$X$和一组新特征$\widetilde{X}$之间，而后者中的每个特征都以平均方式由学习过程中出现的 mini-batch 所修改。通过该表征，我们建立了最小批量梯度下降与全批量梯度下降在步长比例规则下达到主导项一致的动力学。然而，带随机重洗的最小批量梯度下降在步长上表现出一种梯度流分析无法检测到的细微依赖，例如收敛到取决于步长的限制。通过将$Z$——一个随机矩阵的非交换多项式——与$X$的样本协方差矩阵在渐近意义上进行比较，我们展示了小批量处理通过导致谱的收缩形式来影响动力学。