阐明并克服监督对比学习中标签噪声的挑战
计算机视觉与模式识别
2023-11-29 v1
摘要
图像分类数据集存在不可忽略的误标样本比例,常因一类在表面上与另一类相似而导致人工标注错误。该问题在监督对比学习(Supervised Contrastive Learning, SCL)中构成挑战,其目标是在嵌入空间将同类数据点聚拢并将异类疏远。尽管此类方法优于基于交叉熵的方法,它们并非对标注错误免疫。然而,尽管监督学习中噪声标签的有害影响已被充分研究,其对 SCL 的影响仍大多未被探索。为此,我们分析标签错误的影响,并考察其如何破坏 SCL 算法区分正负样本对的能力。分析揭示人类标注错误在约 99% 案例中表现为易正样本。因此我们提出 D-SCL,一种新颖的去偏监督对比学习目标,旨在缓解标注错误引入的偏差。我们证明 D-SCL 在不同视觉基准上持续优于最先进表示学习技术,提升了对标签错误的鲁棒性。
引用
@article{arxiv.2311.16481,
title = {Elucidating and Overcoming the Challenges of Label Noise in Supervised Contrastive Learning},
author = {Zijun Long and George Killick and Lipeng Zhuang and Richard McCreadie and Gerardo Aragon Camarasa and Paul Henderson},
journal= {arXiv preprint arXiv:2311.16481},
year = {2023}
}