蝴蝶效应：神经网络训练轨迹对初始条件高度敏感
机器学习
2025-06-17 v1
摘要
神经网络训练本质上对初始化以及随机梯度下降引入的随机性高度敏感。然而，人们尚不清楚此类效应在多大程度上导致模型的权重或所学习的底层函数出现显著差异。在本工作中，我们表明，在训练的初始“混沌”阶段，即使存在极小的扰动，同样的训练轨迹也可靠地发生发散——这种效应在训练时间过后迅速消失。我们通过 (i) 参数之间 距离、(ii) 在网络之间插值时的损失垫障、(iii) 初始化对齐后的参数之间的 及垫障、以及 (iv) 中间激活之间的表示相似性来量化这种发散，揭示了不同超参数或微调设置如何驱动训练轨迹趋向于不同的损失最小值。我们的发现为神经网络训练稳定性提供了见解，对微调、模型合并以及模型集团的多样性具有实际意义。
引用
@article{arxiv.2506.13234,
title = {The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions},
author = {Devin Kwok and Gül Sena Altıntaş and Colin Raffel and David Rolnick},
journal= {arXiv preprint arXiv:2506.13234},
year = {2025}
}
备注
Published in ICML 2025. The first two authors contributed equally. 29 pages, 28 figures