Grokking：从抽象到智能
人工智能
2026-04-01 v1
摘要
模算术中的 Grokking 已成为经典的果蝇实验，是研究模型泛化机制起源的关键领域。尽管意义重大，现有研究仍然聚焦于特定的局部电路或优化调优，在很大程度上忽视了从根本上驱动这一现象的全局结构演化。我们提出 Grokking 起源于由简约原则支配的内部模型结构的自发简化。我们将因果、谱和算法复杂度度量与奇异学习理论相结合，揭示从记忆到泛化的转变对应于冗余流形的物理坍缩和深度信息压缩，为理解模型过拟合和泛化的机制提供了新的视角。
引用
@article{arxiv.2603.29262,
title = {Grokking From Abstraction to Intelligence},
author = {Junjie Zhang and Zhen Shen and Gang Xiong and Xisong Dong},
journal= {arXiv preprint arXiv:2603.29262},
year = {2026}
}
备注
22page and 5 figures,In this paper, we analyze the grokking phenomenon from the perspective of Singular Learning Theory (SLT). This work is currently under review for ICML 2026