排序信息噪声对比估计：通过排序正样本提升对比学习
计算机视觉与模式识别
2022-01-28 v1
摘要
本文提出排序信息噪声对比估计（RINCE），这是 InfoNCE 损失族中的新成员，能够保持正样本的排序顺序。与标准的 InfoNCE 损失要求将训练样本对严格二分为相似与不相似样本不同，RINCE 可利用关于相似性排序的信息来学习相应的嵌入空间。我们表明，只要能获得含噪的排序信息，或正负样本的定义模糊不清，所提出的损失函数相比标准 InfoNCE 能学到更优的嵌入。我们在带有额外超类标签和含噪相似性分数的监督分类任务中验证了这一点。此外，我们表明 RINCE 也可应用于无监督训练，并在视频无监督表示学习的实验中进行了展示。具体而言，该嵌入相比标准 InfoNCE 损失取得了更高的分类准确率、检索率，并在分布外检测中表现更好。
引用
@article{arxiv.2201.11736,
title = {Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives},
author = {David T. Hoffmann and Nadine Behrmann and Juergen Gall and Thomas Brox and Mehdi Noroozi},
journal= {arXiv preprint arXiv:2201.11736},
year = {2022}
}
备注
AAAI 2022 (Main Track)