中文

Grokking:可验证的有限规模相变

机器学习 2026-03-27 v1 统计力学 人工智能

摘要

Grokking——即在早期记忆后才出现的泛化延迟现象——常以相变语言描述,但该论点缺乏可验证的有限规模输入。本文通过将 Zp\mathbb{Z}_p 群的阶 pp 作为可接受的广义变量,并将持有出的谱头-尾对比作为表示水平阶参数,随后采用凝胶态风格诊断链进行粗网格扫描和密集近临界添加审计。Binder样本交叉揭示出共享的有限规模边界, susceptibility 比较强力地否定了光滑交叉解释(近临界审计中 ΔAIC=16.8\Delta\mathrm{AIC}=16.8)。因此,Grokking的相变语言可以作为定量的有限规模主张进行测试,而不仅仅是作为类比被引用,尽管该相变的阶数目前尚未得到解决。

关键词

引用

@article{arxiv.2603.24746,
  title  = {Grokking as a Falsifiable Finite-Size Transition},
  author = {Yuda Bi and Chenyu Zhang and Qiheng Wang and Vince D Calhoun},
  journal= {arXiv preprint arXiv:2603.24746},
  year   = {2026}
}