延迟泛化中的谱熵坍塌：关于 Grokking 的干预与预测框架

Grokking——神经网络从记忆到泛化之间的延迟转变——仍不太为人所知。我们通过学习表示的几何结构研究这一现象，并识别出泛化前一致的经验信号：表示协方差矩阵谱熵的坍塌。跨越模块算术任务和多个随机种子，谱熵在训练期间逐渐减小，并在测试准确率上升前交叉一个稳定的任务特定阈值。一种表示混合干预延迟了这一坍塌，也延迟了 grokking，包括在范数匹配控制下，表明该效应不仅仅归因于参数范数。我们进一步表明，熵隙能以有用的样本外准确度预测 grokking 剩余时间。为探究这一转变背后的结构，我们引入一种用于循环群任务的傅里叶-alignment 可观测量。谱熵与傅里叶对齐表示的出现强相关，表明谱熵跟踪表示聚焦于任务结构化方向而非通用压缩的程度。相同的定性动力学在非阿贝尔群组成任务中也会出现，而 MLP 控制表明仅凭谱熵坍塌在缺乏恰当归纳偏置的情况下不足以实现 grokking。综合来看，结果支持将 grokking 视为一种表示相变，其具有可观测的几何特征。我们讨论了这种解释的范围与局限性，以及与近期特征学习和谱动力学研究的联系，并提出了测试更大规模学习系统中是否出现类似相变的方向。