论学习动力学中的锥效应
机器学习
2025-04-15 v2
摘要
理解神经网络的学习动力学是深度学习社区的核心课题。本文从经验视角研究真实场景下神经网络的学习动力学。具体而言，我们研究了训练过程中经验神经正切核（empirical Neural Tangent Kernel, eNTK）的演化过程。我们的关键发现揭示了一个两阶段学习过程：i) 在第一阶段，eNTK 显著演化，标志着处于富化区（rich regime）；ii) 在第二阶段，eNTK 持续演化但被限制在一个狭窄的空间内，我们将其称为锥效应（cone effect）。该两阶段框架建立在 Fort et al. (2020) 提出的假设之上，但我们独特地识别出了第二阶段的锥效应，并证明了其相较于完全线性化训练的显著性能优势。
引用
@article{arxiv.2503.16316,
title = {On the Cone Effect in the Learning Dynamics},
author = {Zhanpeng Zhou and Yongyi Yang and Jie Ren and Mahito Sugiyama and Junchi Yan},
journal= {arXiv preprint arXiv:2503.16316},
year = {2025}
}
备注
Accepted by ICLR 2025 workshop DeLTa