统一深度学习中的低维谱
机器学习
2026-05-28 v3
摘要
在过参数化机制下训练的分类网络中，深度学习矩阵的特征谱中普遍出现低维结构。虽然理论进展旨在解释这一现象，但它们通常只能捕捉部分行为，或依赖于实践中无法成立的假设。本文为几个典型深度学习矩阵（包括Hessian矩阵、梯度和权重）的“主体加离群点”结构提供了分析解释。我们利用无约束特征模型（UFMs）实现这一点，该模型现在是研究深度神经坍缩（DNC）出现的常用工具。我们证明DNC是这些低维特征谱的根源，在每种情况下，特征值和特征向量都可以从特征均值（DNC的表征对象）构造出来。这为深度学习中的广泛谱现象提供了统一的分析解释，并且超越了通常关注特征值的经验表征，提供了对特征向量的详细分析。我们证明我们的结果对线性网络和ReLU网络都成立，并在建模环境和标准深度网络架构上对规范数据集进行了数值验证。
引用
@article{arxiv.2404.06106,
title = {Unifying Low Dimensional Spectra in Deep Learning},
author = {Connall Garrod and Jonathan P. Keating},
journal= {arXiv preprint arXiv:2404.06106},
year = {2026}
}
备注
revised version; title changed slightly. 45 pages, 20 figures. Accepted at the International Conference on Machine Learning 2026