面向噪声视图的鲁棒对比学习
计算机视觉与模式识别
2022-01-13 v1 机器学习
摘要
对比学习依赖于一个假设，即正样本对包含相关的视图，例如图像的补丁或视频的共现多模态信号，这些视图共享关于某个实例的某些底层信息。但如果这一假设被违背会怎样？文献表明，在存在噪声视图（例如没有明显共享信息的假正样本对）的情况下，对比学习会产生次优表示。在本工作中，我们提出了一种新的对比损失函数，该函数对噪声视图具有鲁棒性。我们通过展示其与噪声二分类的鲁棒对称损失的联系，并基于 Wasserstein 距离度量建立用于互信息最大化的新对比界，提供了严格的理论依据。所提出的损失函数完全与模态无关，并且可作为 InfoNCE 损失的简单即插即用替代方案，这使其易于应用于现有对比框架。我们表明，在展现多种真实世界噪声模式的图像、视频和图对比学习基准上，我们的方法相比最先进方法提供了持续的改进。
引用
@article{arxiv.2201.04309,
title = {Robust Contrastive Learning against Noisy Views},
author = {Ching-Yao Chuang and R Devon Hjelm and Xin Wang and Vibhav Vineet and Neel Joshi and Antonio Torralba and Stefanie Jegelka and Yale Song},
journal= {arXiv preprint arXiv:2201.04309},
year = {2022}
}