Grokking:可验证的有限规模相变
机器学习
2026-03-27 v1 统计力学
人工智能
摘要
Grokking——即在早期记忆后才出现的泛化延迟现象——常以相变语言描述,但该论点缺乏可验证的有限规模输入。本文通过将 群的阶 作为可接受的广义变量,并将持有出的谱头-尾对比作为表示水平阶参数,随后采用凝胶态风格诊断链进行粗网格扫描和密集近临界添加审计。Binder样本交叉揭示出共享的有限规模边界, susceptibility 比较强力地否定了光滑交叉解释(近临界审计中 )。因此,Grokking的相变语言可以作为定量的有限规模主张进行测试,而不仅仅是作为类比被引用,尽管该相变的阶数目前尚未得到解决。
引用
@article{arxiv.2603.24746,
title = {Grokking as a Falsifiable Finite-Size Transition},
author = {Yuda Bi and Chenyu Zhang and Qiheng Wang and Vince D Calhoun},
journal= {arXiv preprint arXiv:2603.24746},
year = {2026}
}