矩对齐:统一梯度和Hessian匹配用于域生成
机器学习
2025-06-10 v1 机器学习
摘要
域生成 (Domain Generalization, DG) 旨在开发能够在未见目标域上良好泛化的模型,解决实际应用中分布迁移的普遍问题。该领域的研究聚焦于对齐域级梯度和Hessian以提升泛化性。然而,现有方法计算效率低下,且缺乏对这些方法背后原理的清晰理解。本文发展了面向域生成的矩对齐理论。基于"传递度量" (transfer measure)——一种量化两个域之间可传递性的原则框架——我们首先将传递度量扩展至包含多个源域的域生成情境,并建立目标误差上界。随后我们证明,当特征提取器引导出跨域不变的最优预测器时,以及当它不引导出这种预测器时,对齐跨域的导数都能提升传递度量。值得注意的是,矩对齐为不变风险最小化 (Invariant Risk Minimization)、梯度匹配和Hessian匹配这三个此前互不相通的DG方法提供了统一的理解。我们进一步联系特征矩与分类器头部的导数,并建立特征学习与分类器拟合之间的对偶性。基于我们的理论,我们引入了闭式矩对齐 (Closed-Form Moment Alignment, CMA),一种新的DG算法,能够以闭式方式对齐域级梯度和Hessian。该方法通过消除对重复反向传播或基于抽样的Hessian估计的需求,克服了现有梯度和Hessian基于技术的计算效率瓶颈。我们通过线性探针和完全微调两套实验验证了方法的有效性。CMA在两种设置下均优于经验风险最小化 (Empirical Risk Minimization) 和当前最先进的算法。
引用
@article{arxiv.2506.07378,
title = {Moment Alignment: Unifying Gradient and Hessian Matching for Domain Generalization},
author = {Yuen Chen and Haozhe Si and Guojun Zhang and Han Zhao},
journal= {arXiv preprint arXiv:2506.07378},
year = {2025}
}
备注
UAI 2025