谱边缘动力学揭示学习的功能模式

在grokking过程中的训练动力学集中在一小部分主导更新方向上——即谱边缘——这能可靠地区分grokking与非grokking状态。我们表明，标准的机械可解释性工具（头部归因、激活探测、稀疏自编码器）无法捕捉这些方向：它们的结构并非局部化于参数或特征空间。相反，每个方向在输入域上诱导出一个结构化函数，揭示了表示级分析无法看到的低维功能模式。对于模加法，所有主导方向都坍缩为单个傅里叶模式。对于乘法，同样的坍缩仅出现在离散对数基中，使得集中度提高了5.9倍。对于减法，谱边缘跨越一个小的多模式族。对于$x^2+y^2$，没有单一的谐波基是足够的，但加法和乘法特征的交叉项提供了4倍的方差提升，这与分解式$(a+b)^2 - 2ab$一致。多任务训练放大了这种组合结构，其中$x^2+y^2$的谱边缘继承了加法电路的特征频率（集中度增加2.3倍）。这些结果表明，训练在输入域上发现了低维功能模式，其结构取决于任务的代数对称性。这些结果表明，谱边缘动力学识别了控制学习的低维功能子空间，其表示取决于任务的代数结构。只有当任务允许一个对称性适应的基时，简单的谐波结构才会出现；更复杂的任务需要更丰富的功能描述。