连接而非坍缩：解释无监督域适应中的对比学习
机器学习
2022-12-05 v4 计算机视觉与模式识别
摘要
我们考虑无监督域适应（UDA），其中利用来自源域（如照片）的带标签数据和来自目标域（如草图）的无标签数据来学习一个用于目标域的分类器。传统的 UDA 方法（如域对抗训练）学习域不变特征以改善对目标域的泛化能力。在本文中，我们表明，对比预训练（先在无标签的源数据和目标数据上学习特征，然后在带标签的源数据上微调）与强大的 UDA 方法相比具有竞争力。然而，我们发现对比预训练并不学习域不变特征，这与传统的 UDA 直觉相悖。我们从理论上证明，对比预训练可以通过解耦域信息和类别信息，学习到在域间差异显著但仍能泛化到目标域的特征。我们的结果表明域不变性对于 UDA 并非必要。我们在基准视觉数据集上对我们的理论进行了实证验证。
引用
@article{arxiv.2204.00570,
title = {Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation},
author = {Kendrick Shen and Robbie Jones and Ananya Kumar and Sang Michael Xie and Jeff Z. HaoChen and Tengyu Ma and Percy Liang},
journal= {arXiv preprint arXiv:2204.00570},
year = {2022}
}
备注
ICML 2022 (Long Talk)