Grokking 与一般化坍缩：来自 HTSR 理论的洞见

我们使用在 MNIST 上进行训练的 3 层 MLP（带或不带权重衰减）研究神经网络中的 known 的 grokking 现象，发现一种新型第三相——anti-grokking——在训练后期发生，类似但不同于熟悉的 pre-grokking 阶段：测试准确率下降而训练准确率保持完美。这种后期坍缩与已知的 pre-grokking 和 grokking 阶段不同，其他 proposed 的 grokking 进度测度未能检测到。这一发现通过 Heavy-Tailed Self-Regularization HTSR 通过开源 WeightWatcher 工具，我们展示了 HTSR 图层质量指标 $\alpha$ alone 能区分所有三个阶段，而最佳的竞争指标仅能检测前两个阶段。该 anti-grokking 在训练 $10^7$ 时必然出现，由 $\alpha < 2$ 和 Correlation Traps 的出现预先标志着这些陷阱是随机化图层权重矩阵中的异常奇异值，使该图层权重矩阵 atypical 并信号训练集的过拟合。通过对图层逐层经验谱密度进行可视化检查，并使用 Kolmogorov-Smirnov 测试对随机化谱进行验证。比较指标，包括激活稀疏性、绝对权重熵、电路复杂度和 $l^2$ 权重范数 track pre-grokking 和 grokking，但无法区分 grokking 和 anti-grokking。这一发现提供了一种测度过拟合和一般化坍缩的方法，而无需直接访问测试数据。这些结果加强了该 anti-grokking 论断，即 HTSR $\alpha$ 提供了 universal layer-convergence target at $\alpha \approx 2$，并凸显了使用 HTSR alpha $(\alpha)$ 指标作为一般化度量的价值。