关于利用噪声标签学习中的对比表示学习
机器学习
2022-07-26 v3 计算机视觉与模式识别
摘要
深度神经网络能够利用softmax交叉熵（CE）损失轻松记忆噪声标签。先前研究试图通过将噪声鲁棒损失函数结合到CE损失中来解决此问题。然而，由于非鲁棒的CE损失，记忆问题虽缓解但仍存在。为解决该问题，我们专注于学习数据的鲁棒对比表示，在其上分类器难以在CE损失下记忆标签噪声。我们提出一种新颖的对比正则化函数，以在标签噪声不主导表示学习的噪声数据上学习此类表示。通过理论考察所提正则化函数诱导的表示，我们揭示所学表示保留与真实标签相关的信息并丢弃与损坏标签相关的信息。此外，我们的理论结果还表明所学表示对标签噪声鲁棒。该方法在基准数据集上的实验证明了其有效性。
引用
@article{arxiv.2203.01785,
title = {On Learning Contrastive Representations for Learning with Noisy Labels},
author = {Li Yi and Sheng Liu and Qi She and A. Ian McLeod and Boyu Wang},
journal= {arXiv preprint arXiv:2203.01785},
year = {2022}
}