SGD的可疑对齐现象：一种细粒度的步长条件分析

本文探讨了在病态优化条件下随机梯度下降（SGD）中的可疑对齐现象，其中海森谱分裂为主子空间和主体子空间。该现象描述了SGD更新中梯度对齐的行为。具体来说，在SGD更新的初始阶段，梯度与主子空间的对齐度趋于下降。随后，它进入上升阶段，并最终稳定在高对齐阶段。这种对齐被认为是“可疑的”，因为矛盾的是，沿着这个高度对齐的主子空间的投影梯度更新被证明在减少损失方面是无效的。本工作的重点是在高维二次设置中对步长选择如何产生这种现象进行细粒度分析。我们的主要贡献可总结如下：我们提出了一个步长条件，揭示了在低对齐区域，一个自适应临界步长$\eta_t^*$将对齐度下降（$\eta_t < \eta_t^*$）和对齐度上升（$\eta_t > \eta_t^*$）的区域分开，而在高对齐区域，对齐度是自我校正的，无论步长如何都会下降。我们进一步证明，在足够的病态条件下，存在一个步长区间，其中将SGD更新投影到主体空间会减少损失，而将其投影到主子空间则会增加损失，这解释了最近的一项经验观察，即投影梯度更新到主子空间是无效的。最后，基于这种自适应步长理论，我们证明对于恒定步长和大初始化，SGD表现出这种独特的双阶段行为：一个初始的对齐度下降阶段，随后稳定在高对齐状态。