Grokking现象中的复杂性动力学
机器学习
2025-08-22 v2
摘要
我们通过研究Grokking现象，证明了神经网络中存在复杂性相位转变。该现象指的是，网络在对训练数据进行过拟合后，突然从记忆转向泛化。为刻画这一相位转变，我们引入了基于率失真理论和柯克莫尔复杂性的复杂性度量框架，可被理解为网络的原则化有损压缩。我们发现，经过适当正则化的网络表现出明锐的相位转变：在记忆过程中，复杂性上升；当网络发现能够泛化的更简单底层模式时，复杂性随之下降。相比之下，未进行正则化的网络会陷入高复杂性记忆相位。我们在复杂性度量与泛化界限之间建立了明确的联系，为损失压缩与泛化之间的关系提供了理论基础。该框架的压缩比率比直观方法高出30-40倍，能够实现对复杂性动力学的精确跟踪。最后，我们提出一种基于谱熵的正则化方法，通过惩罚网络的固有维度来鼓励网络趋向低复杂性表示。
引用
@article{arxiv.2412.09810,
title = {The Complexity Dynamics of Grokking},
author = {Branton DeMoss and Silvia Sapora and Jakob Foerster and Nick Hawes and Ingmar Posner},
journal= {arXiv preprint arXiv:2412.09810},
year = {2025}
}