用梯度下降学习局部规则中的 grokking 相变

我们讨论了规则学习场景中两个可解的 grokking（过拟合之外的泛化）模型。我们表明 grokking 是一种相变，并找到了临界指数、grokking 概率和 grokking 时间分布的精确解析表达式。进一步，我们引入了一种张量网络映射，将所提 grokking 设置与标准（感知机）统计学习理论相联系，并表明 grokking 是教师模型局部性的结果。作为示例，我们分析了元胞自动机学习任务，数值确定了临界指数和 grokking 时间分布，并与所提 grokking 模型的预测进行比较。最后，我们数值分析了结构形成与 grokking 之间的联系。