CSOT：用于噪声标签学习的课程与结构感知最优传输
计算机视觉与模式识别
2023-12-12 v1 机器学习
摘要
噪声标签学习（LNL）在训练一个泛化能力强的模型同时避免对损坏标签的过拟合方面提出了重大挑战。最近的进展通过识别干净标签并修正损坏标签进行训练，取得了令人印象深刻的性能。然而，当前的方法严重依赖模型的预测，并独立评估每个样本，而没有考虑样本分布的全局和局部结构。这些局限性通常导致识别和修正过程的次优解，最终导致模型对错误标签过拟合。在本文中，我们提出了一种新颖的最优传输（OT）公式，称为课程与结构感知最优传输（CSOT）。CSOT同时考虑样本的分布间和分布内结构，以构建一个鲁棒的去噪和重标记分配器。在训练过程中，该分配器逐步将可靠标签分配给置信度最高的一部分样本。这些标签同时具有全局判别性和局部一致性。值得注意的是，CSOT是一个具有非凸目标函数和课程约束的新颖OT公式，因此它不能直接与经典的OT求解器兼容。在此，我们开发了一种光速计算方法，该方法涉及在广义条件梯度框架内进行缩放迭代，以高效求解CSOT。大量实验证明了我们的方法在噪声标签学习任务中优于当前最先进的方法。代码可在https://github.com/changwxx/CSOT-for-LNL获取。
引用
@article{arxiv.2312.06221,
title = {CSOT: Curriculum and Structure-Aware Optimal Transport for Learning with Noisy Labels},
author = {Wanxing Chang and Ye Shi and Jingya Wang},
journal= {arXiv preprint arXiv:2312.06221},
year = {2023}
}
备注
Accepted by NeurIPS 2023