Grokking 作为方差受限相变：谱门控与 epsilon 稳定阈值

标准优化理论难以解释 grokking 现象，即在训练收敛后长期发生的泛化。虽然几何研究将其归因于慢速漂移，但常常忽视优化器噪声结构与景观曲率之间的相互作用。本文分析 AdamW 在模块运算任务上的动力学，揭示了一种“谱门控”机制，调节从记忆到泛化的转换。我们发现 AdamW 作为一种方差门控的随机系统运行。Grokking 受稳定性条件约束：泛化解在锋利的盆地中（$\lambda_{max}^H$），在低方差 regime 下最初不可及。“延迟”相代表于梯度方差积累，所需以提升有效稳定性上限，使其能够进入该锋利流形。我们的消融研究识别出三种复杂度 regime：（1）**容量崩溃**（$P < 23$），其中秩不足防止结构学习；（2）**方差受限 regime**（$P \approx 41$），其中泛化等待谱门开启；（3）**稳定性覆盖**（$P > 67$），其中记忆变得在维度上不稳定。此外，我们挑战了“平坦最小”假设于算法任务，表明各向同性噪声注入无法诱导 grokking。泛化需要独特于自适应优化器的**各向异性整流**，其将噪声引导至解的流形切向空间。