流体动力学: 边缘稳定性处的梯度下降连续时间模型
机器学习
2026-02-03 v1 人工智能
最优化与控制
机器学习
摘要
我们如何理解非凸景观下的基于梯度的训练？边缘稳定性现象（Cohen 等，2021）表明，答案并不简单：即，步长较大的梯度下降（GD）常常会偏离梯度流。 在这一范畴内，最近提出的“中心流”（Cohen 等，2025）为许多体系结构上的 GD 动力学提供了准确的 ODE 近似。 本文中，我们提出了“Rod Flow”（棒流），一种替代性的 ODE 近似，其优势如下：（1）其基于物理图景推导，将 GD 迭代视为一种扩展的一维对象——“棒”；（2）更好地捕捉简单 toy 示例中的 GD 动力学，并在代表性神经网络体系结构上匹配中心流的精度；（3）形式明确且计算高效。 在理论方面，我们证明了 Rod Flow 正确预测临界锋利阈值，并解释了四次潜在能中的自稳定现象。 我们通过一系列数值实验来验证理论。
引用
@article{arxiv.2602.01480,
title = {Rod Flow: A Continuous-Time Model for Gradient Descent at the Edge of Stability},
author = {Eric Regis and Sinho Chewi},
journal= {arXiv preprint arXiv:2602.01480},
year = {2026}
}