平坦性与梯度对齐：基于谱感知的梯度对齐探索用于多分布学习

锐度感知和梯度对齐方法已被证明可改善泛化性能，但这些方法家族针对损失景观的单一几何属性，而忽略另一种属性。在本文中，我们表明，这种忽略在结构上是不可避免的，必须在多分布学习设置中同时考虑平坦性和梯度对齐。具体而言，我们导出一种剩余风险分解，得到两个可加的主导项：(i) 对齐项，由 $\bar{H}^{-1}\Sigma_g$ 的迹控制；(ii) 曲率项，由 $\bar{H}$ 控制，其中 $\bar{H}$ 为平均 Hessian，$\Sigma_g$ 为跨分布梯度的协方差。值得注意的是，$\bar{H}$ 在一个项中出现倒数，在另一个项中不出现倒数。我们进一步通过反例表明，这两个量通常互不提供上界，因此仅针对单个项的算法无法保证低剩余风险。鼓励此分解，我们提出 SAGE (Spectral-Aware Gradient-Aligned Exploration) 方法，同时针对这两个项进行优化。其中，曲率成分将 SAM 的梯度缩放扰动替换为每个网络层梯度矩阵的极坐标因子，通过 Newton-Schulz 迭代计算，以确保上升步长在各方向上的幅度相似。另一方面，对齐成分在下降步骤中注入各向同性噪声，其幅度随跨分布梯度不一致性而缩放。在五个领域泛化和两个多任务学习基准实验中，我们的方法在 DomainBed 上取得了新的最佳性能，作为通用改进方案可提升基本 MTL 求解器的性能，甚至在某些情况下超越当前最先进的方法。