（深度）线性神经网络中的权重涨落及逆方差平坦性关系的推导

我们研究了在合成高斯数据的随机梯度下降（SGD）连续极限下，单层与两层欠参数化线性神经网络的平稳（晚期）训练 regime。在弱欠参数化 regime 下的单层网络中，噪声协方差矩阵谱明显偏离 Hessian，这可归因于SGD动力学被破坏的细致平衡。此情况下的权重涨落通常是各向异性的，但有效地经历各向同性损失。对于欠参数化两层网络，我们描述了每一层权重的随机动力学并分析了相关的平稳协方差。我们将层间耦合识别为权重涨落各向异性的一个独特来源。与单层情况相反，权重涨落有效地受到各向异性损失的作用，其平坦性与涨落方差成反比。由此，我们在深度线性神经网络模型中解析地推导了最近观测到的逆方差-平坦性关系。