边缘稳定性与渐进锐化的极简示例
机器学习
2025-03-05 v1
摘要
深度学习优化的最新进展揭示了在较大学习率下存在两种有趣现象：边缘稳定性(Edge of Stability, EoS)和渐进锐化(Progressive Sharpening, PS)，挑战了经典梯度下降(GD)分析的常规观念。当前的研究方法，要么是通用框架，要么是极简示例，都面临着解释这些现象的显著局限。本文通过引入一个两层网络，输入为二维，其中一个维度与响应相关，另一个维度则无关，来推进极简方法。通过该模型，我们严格证明了在较大学习率下渐进锐化和自稳定的存在，并对整个GD轨迹上的锐度进行非渐近分析。此外，我们将本极简示例与现有工作相结合，调和了极简方法与通用方法中存在良好“稳定集合”的事实，并将梯度流解的锐度分析扩展到我们的二维输入情境中。这些发现从参数和输入数据分布两个角度提供了关于EoS现象的新见解，可能为深度学习实践中的更有效优化策略提供指导。
引用
@article{arxiv.2503.02809,
title = {A Minimalist Example of Edge-of-Stability and Progressive Sharpening},
author = {Liming Liu and Zixuan Zhang and Simon Du and Tuo Zhao},
journal= {arXiv preprint arXiv:2503.02809},
year = {2025}
}
备注
39 pages, 15 figures