Jo-SRC:一种应对噪声标签的对比学习方法
计算机视觉与模式识别
2021-03-25 v1
摘要
由于深度神经网络(DNNs)的记忆效应,使用噪声标签训练通常导致模型性能不佳。现有SOTA方法主要采用样本选择策略,挑选小损失样本用于后续训练。然而,已有文献倾向于在每个mini-batch内执行样本选择,忽视了不同mini-batch间噪声比例的不平衡。此外,高损失样本中的有价值知识被浪费。为此,我们提出一种噪声鲁棒方法Jo-SRC(基于一致性的联合样本选择与模型正则化)。具体而言,我们以对比学习方式训练网络。每个样本两个不同视图的预测用于估计其属于干净样本或分布外样本的“似然”。进一步,我们提出联合损失,通过引入一致性正则化来提升模型泛化性能。大量实验验证了我们的方法相较现有SOTA方法的优越性。
引用
@article{arxiv.2103.13029,
title = {Jo-SRC: A Contrastive Approach for Combating Noisy Labels},
author = {Yazhou Yao and Zeren Sun and Chuanyi Zhang and Fumin Shen and Qi Wu and Jian Zhang and Zhenmin Tang},
journal= {arXiv preprint arXiv:2103.13029},
year = {2021}
}
备注
accepted by IEEE Conference on Computer Vision and Pattern Recognition, 2021