定量度量与对比探索异质性用于域泛化
机器学习
2023-11-14 v3
摘要
域泛化(DG)是现实应用中的普遍问题,旨在利用多个源域训练对未见目标域具有良好泛化能力的模型。由于域标签(即每个数据点采样自哪个域)天然存在,多数 DG 算法将其作为一种监督信息以提升泛化性能。然而,原始域标签可能因缺乏域异质性(即域间多样性)而非最优监督信号。例如,一个域中的样本可能更接近另一域,其原始标签因此可能成为干扰泛化学习的噪声。尽管一些方法试图通过重新划分域并应用新生成的划分模式来解决该问题,但由于缺乏异质性度量,其所选模式未必最具异质性。本文指出,在不变学习框架下,域异质性主要存在于可变特征中。借助对比学习,我们通过促进可变特征学习提出一种学习潜力引导的域异质性度量。进而我们注意到寻求基于方差的异质性与训练基于不变性的可泛化模型之间存在差异。因此我们提出一种称为基于异质性的两阶段对比学习(HTCL)的新方法用于 DG 任务。第一阶段,我们利用对比度量生成最具异质性的划分模式。第二阶段,我们通过依据域与类所提示的稳定关系重建样本对,采用以不变性为目标的对比学习,从而更好地利用生成的域标签进行泛化学习。大量实验表明 HTCL 能更好地挖掘异质性并取得优异泛化性能。
引用
@article{arxiv.2305.15889,
title = {Quantitatively Measuring and Contrastively Exploring Heterogeneity for Domain Generalization},
author = {Yunze Tong and Junkun Yuan and Min Zhang and Didi Zhu and Keli Zhang and Fei Wu and Kun Kuang},
journal= {arXiv preprint arXiv:2305.15889},
year = {2023}
}
备注
This paper has been accepted by KDD 2023