稳定边缘的起源

神经网络上的全批量梯度下降会将最大海森特征值驱动至阈值 $2/\eta$，其中 $\eta$ 是学习率。这一现象，即稳定边缘，一直缺乏统一的解释：现有理论确立了在边缘附近的自我调节，但并未解释为何轨迹会从任意初始化被强制推向 $2/\eta$。我们引入了边缘耦合，这是一个定义在连续迭代对上的泛函，其系数由梯度下降更新唯一确定。对其临界条件进行差分，可得到一个稳定边界为 $2/\eta$ 的步长递推关系，而二阶展开则得到一个损失变化公式，其伸缩和迫使曲率趋向 $2/\eta$。这两个公式涉及不同的海森平均，但中值定理将每个平均定位到步长线段内一点处的真实海森矩阵，从而产生了对海森特征值的精确强制，且无间隙。将边缘耦合的两个梯度设为零，可对不动点和周期二轨道进行分类；在不动点附近，问题简化为仅依赖于半振幅的函数，这决定了哪些方向支持周期二轨道，以及它们出现在临界学习率的哪一侧。