大学习率训练的不稳定性：损失景观视角
机器学习
2023-07-25 v1
摘要
现代神经网络无疑是成功的。大量工作研究了损失景观的曲率如何影响解的质量。本工作中，我们通过考察网络以大学习率训练期间的 Hessian 矩阵来研究损失景观——这是一个（因）不稳定（而）引人注目的吸引人机制。我们刻画了梯度下降的不稳定性，并观察到显著的{\em 景观平坦化}与{\em 景观偏移}现象，二者均与训练的不稳定性密切相关。
引用
@article{arxiv.2307.11948,
title = {The instabilities of large learning rate training: a loss landscape view},
author = {Lawrence Wang and Stephen Roberts},
journal= {arXiv preprint arXiv:2307.11948},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2305.18490