多任务 Grokking 的几何结构：横向不稳定性、叠加与权重衰减相位结构

Grokking——即在接近零训练损失后才发生的从记忆向泛化的突变——主要在单任务设置中进行了研究。我们将几何分析扩展到多任务模块化算术中，对在权重衰减扫面下对双任务（mod-add + mod-mul）和三任务（mod-add + mod-mul + mod-sq）目标进行共享干 trunk Transformer 训练。出现五个一致现象。（1）错位的 Grokking 顺序：乘法首先泛化，随后是平方，然后是加法，跨随机种子均呈现一致延迟。（2）普遍可积性：优化轨迹受限于经验上不变的低维执行流形；交换子缺陷垂直于该流形可靠地预测泛化。（3）权重衰减相位结构：Grokking 时间尺度、曲率深度、重构阈值和缺陷 lead 随权重衰减系统性地共变，揭示不同的动力学制度和一个尖锐的无衰减失效模式。（4）全息不可压缩性：最终解仅占据 4-8 个主轨迹方向，但分布在满秩权重中且被最小扰动破坏；SVD 截断、幅度修剪和均匀缩放均无法保留性能。（5）横向脆弱性与冗余性：删除少于 10% 的正交梯度分量即可消除 Grokking，但双任务模型在极端删除下表现出部分恢复，表明过参数化使得多任务 Grokking 所构建的紧凑叠加子空间在参数空间中获得几何冗余。综上，这些结果支持一种动力学图景，其中多任务 Grokking 在参数空间中构建紧凑叠加子空间，权重衰减充当压缩压力，额外参数提供优化路径的几何冗余。