从尖峰到厚尾：揭示神经网络谱演化
机器学习
2025-08-12 v3 人工智能
统计理论
机器学习
统计理论
摘要
现代深度神经网络（NN）的训练策略会导致层权重的经验谱密度呈现厚尾（HT）特征。虽然先前的研究表明 HT 现象与大型 NN 的良好泛化相关，但其发生的理论解释仍缺乏。特别是，理解导致此现象的条件有助于阐明泛化与权重谱之间的相互作用。我们的工作旨在弥合这一差距，通过构建一个简单而丰富的设置来建模 HT 谱密度的出现。具体而言，我们提出了一个受理论启发的“craft” 方案，用于在两层 NN 的谱密度中生成厚尾现象，并对 HT 谱密度的出现进行系统性分析，完全不涉及梯度噪声。这一工作是首次分析无噪声设置的研究，我们还将优化器（GD/Adam）相关的较大学习率纳入 HT 谱密度分析中。我们的结果突显了学习率在训练早期阶段对 ESD 的 Bulk+Spike 和 HT 形状中所发挥的作用，这可以促进两层 NN 的泛化。这些观察为大规模 NN 的行为提供了启示，尽管是在更为简单的数据设置中。
关键词
引用
@article{arxiv.2406.04657,
title = {From Spikes to Heavy Tails: Unveiling the Spectral Evolution of Neural Networks},
author = {Vignesh Kothapalli and Tianyu Pang and Shenyang Deng and Zongmin Liu and Yaoqing Yang},
journal= {arXiv preprint arXiv:2406.04657},
year = {2025}
}
备注
TMLR