信息论进展度量揭示Grokking是一种涌现相变

本文通过聚焦Grokking现象——模型在延迟记忆化之后突然泛化——研究了神经网络中的涌现现象。为了理解这一相变，我们利用高阶互信息来分析训练过程中神经元之间的集体行为（协同性）和共享属性（冗余性）。我们在Grokking之前识别出不同的阶段，从而能够预测其何时发生。我们将Grokking归因于神经元整体之间协同相互作用所导致的涌现相变。我们证明了权重衰减和权重初始化可以增强这种涌现相变。