ILDR：几何化早期检测Grokking现象

Grokking描述为一种滞后型泛化现象，即神经网络在验证准确率显著提升之前即可实现完美训练准确率，随后发生对数涨幅的强泛化。现有检测信号为间接性的：权值范数反映参数空间中的正则化，持续滞后于转折点；GrokFast的慢梯度EMA在无梯度放大情况下跨随机种子不稳定，标准偏差超过平均 lead time。我们提出Inter/Intra-class Distance Ratio（ILDR），一种基于第二隐藏层表示计算的几何度量，定义为类心间距离与类内散布之比。ILDR提供早期检测信号：在验证准确率出现grokking转折前，ILDR上升并跨越阈值（在基线水平的2.5倍处），指示表示空间中的早期几何重组。以Fisher线性判别准则为依托，ILDR无需特征分解即可运行，时间复杂度为O(|C|^2 + N)。它仅在保留的独立数据上评估，因而对记忆效应具有稳健性。在模块化算术和S5排列群组合任务上，ILDR在训练预算的9%-73%处领先grokking转折，lead time随任务代数复杂度增加。跨8个随机种子，ILDR平均在950±250步处领先，变异系数为26%，事后方差下降1696倍，符合表示空间中锐利相位转折。将ILDR作为早期停止触发器可平均减少训练18.6%。在ILDR阈值处触发的优化器干预实现了对转折的双向控制，表明ILDR跟踪的是支配泛化条件的表示因素，而非下游相关现象。