沿 GD 轨迹分析锐度：渐进锐化与稳定性边缘
机器学习
2022-11-04 v2
摘要
近期发现（如 arXiv:2103.00065）表明，由全批量梯度下降训练的现代神经网络通常进入一种称为稳定性边缘（EOS）的 regime。在该 regime 中，锐度（即最大 Hessian 特征值）首先增加到值 2/(步长)（渐进锐化阶段），然后围绕该值振荡（EOS 阶段）。本文旨在分析 GD 动力学及优化轨迹上的锐度。我们的分析根据锐度的变化将 GD 轨迹自然划分为四个阶段。我们经验性地识别出输出层权重的范数作为锐度动力学的一个有趣指标。基于此经验观察，我们试图从理论和经验上解释导致 EOS 各阶段锐度变化的各种关键量的动力学。此外，基于某些假设，我们给出了两层全连接线性神经网络中 EOS regime 锐度行为的理论证明。我们还讨论了其他一些经验发现以及我们理论结果的局限性。
引用
@article{arxiv.2207.12678,
title = {Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability},
author = {Zhouzi Li and Zixuan Wang and Jian Li},
journal= {arXiv preprint arXiv:2207.12678},
year = {2022}
}