利用域关系改进域泛化
机器学习
2024-03-19 v2
摘要
分布偏移给机器学习带来了重大挑战，当模型在测试阶段面对与其训练分布不同的分布时，往往表现不佳。本文关注域偏移问题，即模型被应用于与其训练域不同的新域时发生的情况，并提出了一种名为 DG 的新方法。与以往旨在学习单一域不变模型的方法不同，DG 利用基于域元数据的域相似性来学习特定于域的模型。具体而言，DG 在训练阶段学习一组训练域特定的函数，并在测试阶段根据域关系对其进行重加权。这些域关系可以直接从域元数据中获取和学习。在温和的假设下，我们从理论上证明了与传统的平均方法相比，使用域关系对训练域特定的函数进行重加权能够实现更强的域外泛化。在实验中，我们使用真实世界数据集在温度回归、土地利用分类和分子-蛋白质结合亲和力预测等任务上评估了 DG 的有效性。结果表明，DG 始终优于现有最先进的方法。
引用
@article{arxiv.2302.02609,
title = {Improving Domain Generalization with Domain Relations},
author = {Huaxiu Yao and Xinyu Yang and Xinyi Pan and Shengchao Liu and Pang Wei Koh and Chelsea Finn},
journal= {arXiv preprint arXiv:2302.02609},
year = {2024}
}
备注
Accepted by ICLR 2024 (Spotlight)