理解神经网络训练中的锐度动力学：基于极简模型的实验：数据难度、深度、随机性等的影响
机器学习
2025-06-10 v1
摘要
在使用梯度下降训练深度神经网络时，锐度通常会增加——这一现象称为渐进式锐化，在稳定边缘处会饱和。虽然这在实际中广泛观察到，但渐进式锐化背后的底层机制仍不完全了解。本文使用一个极简模型：每个层只有一个神经元的深线性网络来研究这一现象。我们证明，这个简单模型有效地捕捉了最近实证研究中观察到的锐度动力学，为更好地理解神经网络训练提供了一个简单的数据集。此外，我们理论分析了数据集属性、网络深度、优化器的随机性以及步长如何影响极简模型中渐进式锐化的程度。随后，我们实证证明这些理论见解可扩展到实际场景。该研究深入理解了神经网络训练中的锐度动力学，突显了深度、训练数据和优化器之间的相互作用。
引用
@article{arxiv.2506.06940,
title = {Understanding Sharpness Dynamics in NN Training with a Minimalist Example: The Effects of Dataset Difficulty, Depth, Stochasticity, and More},
author = {Geonhui Yoo and Minhak Song and Chulhee Yun},
journal= {arXiv preprint arXiv:2506.06940},
year = {2025}
}
备注
ICML 2025