高维分类任务中随机梯度下降的谱对齐
机器学习
2025-05-19 v2 概率论
机器学习
摘要
我们严格研究了通过随机梯度下降（SGD）的训练动态与经验 Hessian 矩阵和梯度矩阵的谱之间的关系。我们证明，在多类高维混合以及 1 层或 2 层神经网络的两种典型分类任务中，SGD 轨迹与 Hessian 和梯度矩阵中涌现的离群特征空间均对齐于一个共同的低维子空间。此外，在多层的设定中，这种对齐逐层发生，最后一层离群特征空间在训练过程中演化，并在 SGD 收敛到次优分类器时表现出秩缺失。这确立了过去十年中关于过参数化网络训练过程中 Hessian 和信息矩阵谱的广泛数值研究中所产生的一些丰富预测。
引用
@article{arxiv.2310.03010,
title = {Spectral alignment of stochastic gradient descent for high-dimensional classification tasks},
author = {Gerard Ben Arous and Reza Gheissari and Jiaoyang Huang and Aukosh Jagannath},
journal= {arXiv preprint arXiv:2310.03010},
year = {2025}
}
备注
Final version. 53 pages, 12 figures