理解神经垂直核在稳定边缘的演化
机器学习
2025-07-18 v1
摘要
神经垂直核 (NTK) 的研究在近年来受到越来越多的关注。NTK 在训练期间通常会积极变化，与特征学习相关。与此同时，近期关于梯度下降 (GD) 的研究发现一种称为边缘稳定性 (EoS) 的现象，即 NTK 最大本征值围绕与步长成反比的值振荡。然而，尽管后续研究深入探讨了此类本征值行为的内在机制，但对 NTK 特征向量在 EoS 期间行为的理解仍然缺失。本文详细考察了 NTK 特征向量在 EoS 期间的动力学。跨越不同架构，我们观察到更大的学习率会导致最终 NTK 的主导特征向量以及完整 NTK 矩阵与训练目标具有更大的对齐度。随后，我们研究了这一现象的内在机制，为两个线性网络提供了理论分析。我们的研究增强了对深度学习中 GD 训练动力学的理解。
引用
@article{arxiv.2507.12837,
title = {Understanding the Evolution of the Neural Tangent Kernel at the Edge of Stability},
author = {Kaiqi Jiang and Jeremy Cohen and Yuanzhi Li},
journal= {arXiv preprint arXiv:2507.12837},
year = {2025}
}