参数化线性回归在稳定边缘 regime 下的准则与偏差

经典优化理论要求梯度法的步长较小才能收敛。然而，近期研究挑战了这一传统观点，经验表明梯度下降法（GD）即使步长 $\eta$ 超过阈值 $2/L$（其中 $L$ 为全局光滑常数）仍可收敛。这被称为稳定边缘（Edge of Stability, EoS）现象。广泛认为，具有亚二次生长的目标函数在引发 EoS 方面发挥重要作用。本文提供更全面的答案，通过考虑寻找回归任务中线性插值器 $\beta \in R^{d}$ 的问题，其中 $\beta$ 采用参数化形式 $\beta = w^2_{+} - w^2_{-}$。与表明亚二次 $l$ 是 EoS 必要条件的前期工作不同，本文的新发现表明即使 $l$ 为二次函数，在�当条件下也会发生 EoS。通过经验与理论证据使该论点严密化，表明 GD 轨迹以非渐近方式收敛于线性插值器。此外，已知深度二层对角线性网络在 EoS 条件下仍鲜有探讨。我们的分析为在更大步长下使用时，对对角线性网络的隐式偏差提供了新视角，丰富了对 EoS 在更实用模型上的理解。