神经网络的梯度下降通常发生于稳定性边缘
机器学习
2022-11-24 v3 机器学习
摘要
我们通过实证表明，神经网络训练目标上的全批量梯度下降通常运作于一种我们称之为稳定性边缘(Edge of Stability)的 regime 中。在该 regime 下，训练损失 Hessian 的最大特征值恰好悬停在数值 略上方，且训练损失在短时间尺度上非单调变化，但在长时间尺度上持续下降。由于该行为与该优化领域中若干广泛持有的预设不一致，我们的发现引发了对这些预设是否与神经网络训练相关的质疑。我们希望我们的发现能启发未来旨在严格理解稳定性边缘处优化的努力。代码见 https://github.com/locuslab/edge-of-stability。
引用
@article{arxiv.2103.00065,
title = {Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability},
author = {Jeremy M. Cohen and Simran Kaur and Yuanzhi Li and J. Zico Kolter and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2103.00065},
year = {2022}
}
备注
ICLR 2021. v3 moves several figures from the appendix into the main text, and adds more discussion regarding Jastrz\k{e}bski et al (2020): https://doi.org/10.48550/arXiv.2002.09572