对比学习学到了哪些特征?论简单性偏差在类崩溃与特征抑制中的作用
机器学习
2023-05-30 v2 机器学习
摘要
对比学习(CL)已成为一种强大的表示学习技术,无论有无标签监督均可使用。然而,有监督CL容易通过未捕获类中所有子类的特征而使其表示崩溃,而无监督CL可能通过聚焦于学习简单的类无关特征而抑制更困难类相关特征;两者都显著损害表示质量。然而,在测试时对类崩溃或特征抑制尚无理论理解。我们提供了首个统一的、理论严谨的框架,以确定CL学到了哪些特征。我们的分析表明,或许令人惊讶的是,(随机)梯度下降朝向寻找更简单解的偏差,是子类表示崩溃与抑制更困难类相关特征的关键因素。此外,我们提出增加嵌入维度和改善数据增强质量作为两个有理论依据的解决特征抑制的方案。我们也首次从理论解释了为何将有监督与无监督CL结合使用可产生更高质量的表示,即使采用常用的随机梯度方法。
引用
@article{arxiv.2305.16536,
title = {Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression},
author = {Yihao Xue and Siddharth Joshi and Eric Gan and Pin-Yu Chen and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2305.16536},
year = {2023}
}
备注
to appear at ICML 2023