面向域泛化的梯度匹配
机器学习
2021-07-15 v3 机器学习
摘要
机器学习系统通常假设训练集和测试集的分布紧密匹配。然而，此类系统在现实世界中的一项关键要求是它们能够泛化到未见过的域。在此，我们提出一种域间梯度匹配目标，通过最大化来自不同域的梯度之间的内积来针对域泛化。由于直接优化梯度内积可能在计算上难以承受——需要计算二阶导数——我们推导出一种更简单的名为 Fish 的一阶算法来近似其优化。我们在来自 Wilds 基准的 6 个数据集上展示了 Fish 的功效，该基准捕捉了跨多种模态的分布偏移。我们的方法在这些数据集上产生了有竞争力的结果，并在其中 4 个上超越了所有基线。我们在捕捉现实世界中分布偏移的 Wilds 基准以及更关注合成到真实迁移的 DomainBed 基准中的数据集上均进行了实验。我们的方法在两个基准上均产生了有竞争力的结果，证明了其在广泛域泛化任务中的有效性。
引用
@article{arxiv.2104.09937,
title = {Gradient Matching for Domain Generalization},
author = {Yuge Shi and Jeffrey Seely and Philip H. S. Torr and N. Siddharth and Awni Hannun and Nicolas Usunier and Gabriel Synnaeve},
journal= {arXiv preprint arXiv:2104.09937},
year = {2021}
}