面向噪声标签的选择性监督对比学习
计算机视觉与模式识别
2022-03-09 v1 人工智能
机器学习
摘要
深度网络具有将嵌入数据至潜在表示并完成后续任务的强大能力。然而，这些能力很大程度上来自高质量标注标签，而收集此类标签代价高昂。噪声标签更易获取，但会导致 corrupted 表示，进而引起较差的泛化性能。为学习鲁棒表示并处理噪声标签，本文提出选择性监督对比学习（Sel-CL）。具体而言，Sel-CL 扩展了在表示学习中强大但存在噪声标签时会退化的监督对比学习（Sup-CL）。Sel-CL 解决了 Sup-CL 问题的直接成因：由于 Sup-CL 以\textit{成对}方式工作，由噪声标签构建的噪声对会误导表示学习。为缓解该问题，我们在不知晓噪声率的情况下从噪声对中挑选置信对用于 Sup-CL。在挑选过程中，通过度量所学表示与给定标签之间的一致性，我们首先识别出用于构建置信对的置信样本；随后，利用已构建置信对中的表示相似度分布，从噪声对中识别更多置信对。所有获得的置信对最终用于 Sup-CL 以增强表示。在多个噪声数据集上的实验证明了我们方法所学表示的鲁棒性，取得了最先进的性能。源代码见 https://github.com/ShikunLi/Sel-CL。
引用
@article{arxiv.2203.04181,
title = {Selective-Supervised Contrastive Learning with Noisy Labels},
author = {Shikun Li and Xiaobo Xia and Shiming Ge and Tongliang Liu},
journal= {arXiv preprint arXiv:2203.04181},
year = {2022}
}
备注
Accepted to CVPR 2022. 12 pages, 5 figure, and 10 tables