UNICON：通过均匀选择和对比学习对抗标签噪声
计算机视觉与模式识别
2022-04-28 v4 机器学习
摘要
监督深度学习方法需要大量标注数据；因此，标签噪声不可避免。使用此类噪声数据训练会负面影响深度神经网络的泛化性能。为了对抗标签噪声，最新的最先进方法采用某种样本选择机制来选择可能干净的子集。然后，使用现成的半监督学习方法进行训练，其中被拒绝的样本被视为未标记数据。我们的全面分析表明，当前的选取方法不成比例地从简单（快速可学习）类别中选择样本，而拒绝来自相对较难类别的样本。这会在所选干净集中造成类别不平衡，进而在高标签噪声下降低性能。在这项工作中，我们提出UNICON，一种简单而有效的样本选择方法，对高标签噪声具有鲁棒性。为了解决简单和困难样本的不成比例选择，我们引入了一种基于Jensen-Shannon散度的均匀选择机制，不需要任何概率建模和超参数调整。我们用对比学习补充我们的选择方法，以进一步对抗噪声标签的记忆。在多个基准数据集上的大量实验证明了UNICON的有效性；在CIFAR100数据集上，噪声率为90%时，我们比当前最先进方法提高了11.4%。我们的代码已公开。
引用
@article{arxiv.2203.14542,
title = {UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning},
author = {Nazmul Karim and Mamshad Nayeem Rizve and Nazanin Rahnavard and Ajmal Mian and Mubarak Shah},
journal= {arXiv preprint arXiv:2203.14542},
year = {2022}
}
备注
Accepted at IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2022