CLIPCleaner：利用 CLIP 清理带噪标签
计算机视觉与模式识别
2024-09-17 v2
摘要
带噪标签学习（LNL）是机器学习社区面临的重大挑战。一些最常用的方法是选择模型本身（训练中的模型）置信度最高的样本作为干净样本（如“小损失”），但这会受到“自我确认”偏差的影响。这种偏差是由于训练中的模型至少部分地在噪声标签上进行训练所致。此外，在分类任务中，还存在一个额外挑战：一些标签噪声涉及视觉上非常相似的类别（“难噪声”）。本文提出了一种方法（CLIPCleaner），利用 CLIP——一种强大的视觉语言（VL）模型，构建零样本分类器，用于高效、离线的干净样本选择。这样做的优势在于，样本选择与训练模型相互独立，并且由于 CLIP 的训练方式，样本选择能够识别类别之间的语义和视觉相似性。我们提供了理论依据和实证证据，表明 CLIP 在 LNL 中优于常规预训练模型。与当前结合迭代样本选择和各种技术的方法相比，CLIPCleaner 提供了一种简单、单步骤的方法，在基准数据集上实现了与当前方法相当或更好的性能。据我们了解，这是首次使用 VL 模型来解决带噪标签学习（LNL）问题，凸显了其在该领域的潜力。
引用
@article{arxiv.2408.10012,
title = {CLIPCleaner: Cleaning Noisy Labels with CLIP},
author = {Chen Feng and Georgios Tzimiropoulos and Ioannis Patras},
journal= {arXiv preprint arXiv:2408.10012},
year = {2024}
}
备注
Accepted to ACMMM2024. Codes are available at https://github.com/MrChenFeng/CLIPCleaner_ACMMM2024