稳定性边缘训练是由逐层雅可比对齐引起的
机器学习
2024-06-04 v1 机器学习
摘要
在神经网络训练过程中，训练损失的海森矩阵的尖锐度会上升，直到训练处于稳定性边缘。因此，即使是非随机梯度下降也不能准确模拟由训练损失的梯度流定义的基础动力系统。我们使用指数欧拉求解器来训练网络而不进入稳定性边缘，从而精确逼近真实的梯度下降动力学。我们通过实验证明，海森矩阵尖锐度的增加是由网络的逐层雅可比矩阵变得对齐引起的，因此网络输入附近网络预激活的微小变化可能导致网络输出的巨大变化。我们进一步证明，对齐程度与数据集大小成幂律关系，决定系数在0.74到0.98之间。
引用
@article{arxiv.2406.00127,
title = {Training on the Edge of Stability Is Caused by Layerwise Jacobian Alignment},
author = {Mark Lowell and Catharine Kastner},
journal= {arXiv preprint arXiv:2406.00127},
year = {2024}
}