真实世界任务上 Grokking 的进展度量

Grokking 是一种机器学习模型在过拟合很久之后才实现泛化的现象，主要在算法任务中被观察和研究。本文使用深度神经网络在交叉熵损失下进行分类，探索真实世界数据集中的 grokking。我们展示了 grokking 可以在权重范数的预期范围之外发生，从而挑战了将权重 $L_2$ 范数视为 grokking 主要原因的普遍假设。为了更好地理解 grokking，我们引入了三种新的进展度量：激活稀疏性、绝对权重熵和近似局部电路复杂度。这些度量在概念上与泛化相关，并且与权重范数相比，在真实世界数据集中与 grokking 表现出更强的相关性。我们的发现表明，尽管权重范数通常可能与 grokking 及我们的进展度量相关，但它们并非因果性的，而我们提出的度量提供了对 grokking 动力学的更好理解。