神经网络两种学习动力学的新证据
机器学习
2025-05-21 v1
摘要
理解深度神经网络的学习方式仍是现代机器学习中的一个根本性挑战。越来越多的证据表明，训练动力学呈现出明显的相位转变，但我们对这一转变的理解仍不完整。本文引入区间视角，通过比较时间窗口内的网络状态，揭示了两种新现象，阐明了深度学习的两种相位本质。i）“混沌效应”。我们在网络各阶段注入微小的参数扰动，发现网络对扰动的响应呈现从混沌到稳定的转变，表明网络在早期存在一个高度对初始条件敏感的关键时期；ii）“锥效应”。我们跟踪经验神经切线核（eNTK）的演化，发现在此转变点之后，模型的功能轨迹被限制在狭窄的锥形子集中：虽然核函数继续变化，但它被困在紧密的角区域内。这些效应提供了深层网络从敏感探索到稳定细化期间的结构性、动力学视角。
引用
@article{arxiv.2505.13900,
title = {New Evidence of the Two-Phase Learning Dynamics of Neural Networks},
author = {Zhanpeng Zhou and Yongyi Yang and Mahito Sugiyama and Junchi Yan},
journal= {arXiv preprint arXiv:2505.13900},
year = {2025}
}
备注
This work extends the workshop paper, On the Cone Effect in the Learning Dynamics, accepted by ICLR 2025 Workshop DeLTa