梯度方向灵敏度揭示优化器轨迹下被隐藏的线性-质心耦合

我们表明，将 AdamW 更新的滚动奇异值分解 (SVD) 替换为对损失梯度进行滚动 SVD，会使诊断结果提高 1-2 个数量级。对损失梯度进行 SVD 而非对 AdamW 更新进行操作，使 SED 方向与线性质心假设 (LCH) 特征之间的测量扰动耦合从 $\bar{R}_k \approx 3$--$9\times$ 增大到 $100$--$330\times$，跨越四个单任务模块运算操作，消除原始测量中显现的操作依赖性。在一个多任务 transformer 模型中，基于更新的 SED 给出 $\bar{R}_k \leq 1$ ——这表明诊断似乎失败——而基于操作梯度的 SED 恢复了 $\bar{R}_k = 20$--$45\times$ 的耦合。梯度在竞争任务中的聚合是主要障碍；对每个任务的梯度进行 SVD 可解决该问题。一种因果干预显示，约束注意力更新到任意 3 维子空间（无论是基于 SED 还是随机）可加快约 $2.3\times$ 的学习速度，而在严格的梯度投影方法下删除 3 维分量几乎无影响。因此，SED-LCH 耦合是参数空间特征形成集中处的强诊断工具，但并非唯一的因果路径：在我们的超参数下，自然的全秩 AdamW 注意力更新在秩冗余方面表现突出。