鲁棒域适应：表示、权重与归纳偏置
机器学习
2020-06-25 v1 机器学习
摘要
无监督域适应(UDA)在过去十年中引起了广泛关注。域不变表示(IR)的出现极大提升了从有标签源域到新的无标签目标域的表示可迁移性。然而，该方法一个潜在的陷阱即标签偏移的存在已被揭示。一些工作通过样本加权获得域不变性的松弛版本来解决此问题，这一策略常被称为重要性采样。在我们看来，重要性采样与不变表示在 UDA 中如何相互作用的理论方面尚未被深入研究。本工作中，我们给出一个融合权重与不变表示的目标风险界。我们的理论分析凸显了归纳偏置在跨域分布对齐中的作用。我们在标准基准上通过提出一种新的 UDA 学习过程加以说明。经验上我们观察到弱的归纳偏置使适应更为鲁棒。构建更强的归纳偏置是新型 UDA 算法的一个有前景的方向。
引用
@article{arxiv.2006.13629,
title = {Robust Domain Adaptation: Representations, Weights and Inductive Bias},
author = {Victor Bouvier and Philippe Very and Clément Chastagnol and Myriam Tami and Céline Hudelot},
journal= {arXiv preprint arXiv:2006.13629},
year = {2020}
}
备注
25 pages, 4 figures, ECML-PKDD2020