高维下 SGD 的齐次化：精确动力学与泛化性质

我们发展了一个称为齐次化 SGD 的随机微分方程，用于分析带 $\ell^2$ 正则化的高维随机最小二乘问题上的随机梯度下降 (SGD) 动力学。我们证明齐次化 SGD 是 SGD 的高维等价——对于任意二次统计量（例如二次损失下的总体风险），当样本数 $n$ 与特征数 $d$ 呈多项式关系时（$d^c < n < d^{1/c}$，某 $c > 0$），SGD 迭代下的统计量收敛于齐次化 SGD 下的统计量。通过分析齐次化 SGD，我们以 Volterra 积分方程解的形式给出了 SGD 泛化性能的精确非渐近高维表达式。进一步，我们给出了 SGD 训练时二次损失下极限超额风险的精确值。该分析针对满足一族预解条件的数据矩阵与目标向量而建立，这些条件大致可视为数据样本侧奇异向量非定域化的弱（非定量）形式。我们给出了若干具有动机的应用，包括含独立样本的样本协方差矩阵与具非生成模型目标向量的随机特征。