神经网络中的维度相变视角下的 Grokking
机器学习
2026-04-07 v1 无序系统与神经网络
人工智能
适应与自组织系统
摘要
神经网络 grokking——即记忆向泛化的突然转换——挑战了我们对学习动力学的理解。通过对八个模型规模跨越的梯度 avalanche 动力学进行有限尺度缩放，我们发现 grokking 是一种\textit{维度相变}：有效维度 D 在泛化发生时从亚扩散（亚临界，D<1）穿越到超扩散（超临界，D>1），表现出自组织临界性（SOC）。关键的是，D 反映的是梯度场几何，而非网络架构：合成的 i.i.d. 高斯梯度在各种图拓扑下均保持 D≈1，而真实训练则表现出来自反向传播相关性的维度超量。grokking-localized D(t) 的跨越——在拓扑结构中保持鲁健——为理解超参数化网络的可训练性提供了新视角。
引用
@article{arxiv.2604.04655,
title = {Grokking as Dimensional Phase Transition in Neural Networks},
author = {Ping Wang},
journal= {arXiv preprint arXiv:2604.04655},
year = {2026}
}