对比学习能否避免捷径解？
机器学习
2021-12-21 v3
摘要
通过对比学习学到的表示的泛化能力关键取决于提取了数据的哪些特征。然而，我们观察到对比损失并不总能充分引导提取哪些特征，这种行为可能通过“捷径”对下游任务性能产生负面影响，即无意中抑制了重要的预测特征。我们发现特征提取受到所谓实例判别任务（即区分相似点对与不相似点对的任务）难度的影响。尽管更难的配对改善了某些特征的表示，但这一改善是以抑制先前表示良好的特征为代价的。为此，我们提出隐式特征修改（IFM），一种用于改变正样本和负样本以引导对比模型捕捉更广泛预测特征的方法。在实验上，我们观察到 IFM 减少了特征抑制，从而提升了视觉和医学影像任务的性能。代码见：\url{https://github.com/joshr17/IFM}。
引用
@article{arxiv.2106.11230,
title = {Can contrastive learning avoid shortcut solutions?},
author = {Joshua Robinson and Li Sun and Ke Yu and Kayhan Batmanghelich and Stefanie Jegelka and Suvrit Sra},
journal= {arXiv preprint arXiv:2106.11230},
year = {2021}
}
备注
NeurIPS 2021