基于轮次的随机梯度下降中的反相关噪声：对平坦方向权重方差的影响

随机梯度下降(SGD)因其计算效率和泛化能力已成为神经网络优化的基石。然而，尽管常见的基于轮次训练实践采用无放回数据采样，SGD引入的梯度噪声仍常被假设为时间上不相关。在本工作中，我们挑战该假设，并研究基于轮次的噪声相关性对带动量的离散时间SGD平稳分布的影响。我们的主要贡献有两点：首先，在假设噪声与权重向量的微小波动无关的条件下，我们计算了基于轮次训练期间噪声的精确自相关，揭示SGD噪声在时间上固有地反相关。其次，我们探究了这些反相关对权重波动方差的影响。我们发现，对于损失曲率大于依赖于超参数的交叉值的那些方向，基于不相关且与曲率成正比的噪声得到的平稳状态下各向同性权重方差的常规预测得以恢复，反相关在此影响可忽略。然而，对于相对平坦的方向，权重方差显著减小，与恒定权重方差假设相比导致损失波动大幅降低。此外，我们给出一个数值实验，其中带有这些反相关的训练提升了测试性能，表明基于轮次训练所诱导的固有噪声结构可能在寻找泛化更好的更平坦极小值中发挥作用。