理解域泛化中的 Hessian 对齐

分布外(OOD)泛化是深度学习模型在医疗健康和自动驾驶等许多现实场景中的关键能力。近来,已有多种技术被提出以改进 OOD 泛化。在这些方法中,基于梯度的正则化器相较于其他同类方法展现出有前景的性能。尽管取得此类成功,我们对 Hessian 与梯度对齐在域泛化中作用的理解仍十分有限。为弥补这一不足,我们利用近期关于可迁移性的 OOD 理论,分析了分类器头部 Hessian 矩阵与梯度在域泛化中的作用。理论上,我们证明跨域分类器头部 Hessian 矩阵之间的谱范数是迁移度量(一种刻画目标域与源域之间距离的概念)的上界。此外,我们分析了在鼓励 Hessian 与梯度相似时所对齐的全部属性。我们的分析解释了 CORAL、IRM、V-REx、Fish、IGA 和 Fishr 等许多正则化器的成功,因为它们对分类器头部 Hessian 和/或梯度的一部分进行了正则化。最后,我们基于 Hessian 梯度乘积(HGP)与 Hutchinson 方法(Hutchinson),在不直接计算 Hessian 的情况下,提出了两种简单而有效的方法来高效匹配分类器头部 Hessian 与梯度。我们在不同场景(包括可迁移性、严重相关性偏移、标签偏移与多样性偏移)中验证了所提方法的 OOD 泛化能力。结果表明,Hessian 对齐方法在各种 OOD 基准上取得了有前景的性能。代码见 \url{https://github.com/huawei-noah/Federated-Learning/tree/main/HessianAlignment}。