面对标签噪声的鲁棒监督对比损失的包容性理论框架
机器学习
2025-01-03 v1
摘要
从噪声标签学习是机器学习中的一个关键挑战，对诸多现实场景具有深远影响。虽然监督对比学习最近日益成为应对标签噪声的强大工具，但许多现有解决方案仍停留在启发式方法之内，缺乏针对鲁棒监督对比损失的系统性理论基础。为填补这一空白，本文提出了一种针对两两对比范式下鲁棒损失的统一理论框架。特别是，我们首次推导了任意对比损失的通用鲁棒条件，作为检验监督对比损失在标签噪声下的理论鲁棒性的标准。该理论表明，流行的 InfoNCE 损失实际上是非鲁棒的，据此我们受到启发，开发了 InfoNCE 的鲁棒版本，称为对称 InfoNCE (SymNCE)。此外，我们还指出，自己的理论是一个包容性框架，为对先前鲁棒技术（如最近邻 (NN) 样本选择和鲁棒对比损失）提供解释。在基准数据集上的验证实验表明，SymNCE 在标签噪声条件下的优势性。
引用
@article{arxiv.2501.01130,
title = {An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise},
author = {Jingyi Cui and Yi-Ge Zhang and Hengyu Liu and Yisen Wang},
journal= {arXiv preprint arXiv:2501.01130},
year = {2025}
}