神经网络中 Sloppiness 的解析刻画：来自线性模型的洞见
机器学习
2025-11-19 v2 无序系统与神经网络
统计力学
摘要
最近的实验表明，具有不同架构、优化算法、超参数设置和正则化方法的多个深度神经网络的训练轨迹，在概率分布空间中演化在一个显著低维的“超带状”流形上。受深度网络和线性网络训练轨迹相似性的启发，我们对后者进行了解析刻画。我们使用动力系统理论的工具，表明该低维流形的几何由以下因素控制：(i) 训练数据输入相关矩阵的特征值衰减速率，(ii) 真实输出与训练开始时权重的相对尺度，以及 (iii) 梯度下降的步数。通过解析计算和界定这些量的贡献，我们刻画了预期出现超带状的区域的相边界。我们还将分析扩展到使用随机梯度下降训练的核机器和线性模型。
引用
@article{arxiv.2505.08915,
title = {An Analytical Characterization of Sloppiness in Neural Networks: Insights from Linear Models},
author = {Jialin Mao and Itay Griniasty and Yan Sun and Mark K. Transtrum and James P. Sethna and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2505.08915},
year = {2025}
}