超越可分离性:对比表征对相关子群体线性可迁移性的分析
机器学习
2022-05-25 v2
摘要
对比学习是一种从未标注数据中学习表征的高效方法。近期工作表明对比表征可跨域迁移,从而产生了用于无监督域自适应的简单最优算法。特别地,在源域上训练用于分离表征的线性分类器也能准确预测目标域上的类别,尽管两域的表征彼此相距甚远。我们称此现象为线性可迁移性。本文分析了在一般无监督域自适应设定下,对比表征何时以及为何展现线性可迁移性。我们证明当不同域中同一类的数据(如照片狗与卡通狗)彼此的相关性,强于不同域中不同类的数据(如照片狗与卡通猫)之间的相关性时,线性可迁移性可发生。我们的分析处于一个现实 regime:源域与目标域可具有无界密度比且弱相关,并且它们跨域具有遥远的表征。
引用
@article{arxiv.2204.02683,
title = {Beyond Separability: Analyzing the Linear Transferability of Contrastive Representations to Related Subpopulations},
author = {Jeff Z. HaoChen and Colin Wei and Ananya Kumar and Tengyu Ma},
journal= {arXiv preprint arXiv:2204.02683},
year = {2022}
}