基于帕累托最优梯度匹配的域泛化
机器学习
2025-07-22 v1 人工智能
摘要
在本研究中，我们解决了基于梯度的域泛化问题，其中预测器旨在跨不同域保持一致的梯度方向。现有方法存在两个主要挑战。首先，最小化梯度经验距离或梯度内积（GIP）会导致域间的梯度波动，从而阻碍直接学习。其次，将梯度学习直接应用于联合损失函数会因二阶导数近似而产生高计算开销。为应对这些挑战，我们提出了一种新的帕累托最优梯度匹配（POGM）方法。与将梯度匹配作为正则化项添加的现有方法不同，我们将梯度轨迹作为收集的数据，并在元学习器上进行独立训练。在元更新中，我们最大化GIP，同时限制学习到的梯度偏离经验风险最小化梯度轨迹过远。通过这样做，聚合梯度可以整合所有域的知识，而不会因朝向任何特定域而产生梯度波动。在DomainBed数据集上的实验评估表明，POGM在实现计算效率的同时，与其他基线方法相比取得了有竞争力的结果。
引用
@article{arxiv.2507.14227,
title = {Domain Generalization via Pareto Optimal Gradient Matching},
author = {Khoi Do and Duong Nguyen and Nam-Khanh Le and Quoc-Viet Pham and Binh-Son Hua and Won-Joo Hwang},
journal= {arXiv preprint arXiv:2507.14227},
year = {2025}
}