Grokking学习动力学中特征涌现的可证明扩展定律
摘要
虽然Grokking现象，即迟迟 generalizations，已被广泛研究，但是否存在一种数学框架来刻画哪些特征会涌现、如何涌现以及在何种条件下涌现，仍是开放问题。我们提出了一种新框架，称为，用于捕捉2层非线性网络Grokking行为的三个关键阶段：（I）懒学习，（II）独立特征学习，（III）交互式特征学习。在懒学习阶段，顶层对随机隐藏表示进行过拟合，模型看似记忆，同时，来自顶层的反向传播梯度现在携带关于目标标签的信息，并具有特定结构，使每个隐藏节点能够独立学习其表示。有趣的是，独立的动力学恰好等于能量函数的梯度上升，其局部极大值正是新兴特征。我们研究了这些由局部极小值诱导的特征是否具有可 generalization，其表示能力以及它们在样本大小上的变化情况，聚焦于组算术任务。当隐藏节点在学习的后期开始相互作用时，我们可证明地展示了如何变化以聚焦于需要学习的缺失特征。我们的研究为关键超参数（如权重衰减、学习率和样本大小）在Grokking中的作用提供了洞见，推动了特征涌现、记忆和generalization的可证明扩展定律，揭示了近期有效优化器（如Muon）为何有效的原因，源于梯度动力学的第一性原理。我们的分析可推广至多层网络。代码可在https://github.com/yuandong-tian/understanding/tree/main/ssl/real-dataset/cogo获取。
引用
@article{arxiv.2509.21519,
title = {Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking},
author = {Yuandong Tian},
journal= {arXiv preprint arXiv:2509.21519},
year = {2025}
}
备注
Find new mechanism that $G_F$ carries useful signals also at initial stage and thus remove theory's dependency on weight decay. Also add experiments on zero-init output layers, showing the technique is effective in accelerating grokking