你的噪声校正是否有噪？PLS：基于两阶段检测的标签噪声鲁棒性方法
计算机视觉与模式识别
2022-10-18 v2 机器学习
摘要
设计能够从网络未筛选数据集中训练出准确神经网络的鲁棒算法，已成为大量研究的主题，因为这减少了对耗时人工标注的需求。许多以往研究的重点在于检测不同类型的标签噪声；然而，本文提出在检测到噪声样本后提高其校正准确率。在许多最先进的成果中，采用了两阶段方法：先检测噪声样本，再以半监督方式猜测修正的伪标签。随后这些猜测的伪标签被用于监督目标中，却未确保标签猜测很可能正确。这可能导致确认偏差（confirmation bias），从而降低噪声鲁棒性。在此我们提出伪损失（pseudo-loss），一种我们发现与噪声样本上伪标签正确性强相关的简单度量。利用伪损失，我们在整个训练过程中动态降低低置信度伪标签的权重，以避免确认偏差并提升网络准确率。我们还提出使用置信度引导的对比目标，该目标在置信修正样本的类绑定（监督）与低置信标签修正的无监督表示之间的插值目标上学习鲁棒表示。实验表明，我们的伪损失选择（Pseudo-Loss Selection, PLS）算法在多种基准数据集上取得了最先进的性能，包括被同分布与异分布噪声合成污染的筛选数据，以及两个真实世界网络噪声数据集。我们的实验完全可复现 github.com/PaulAlbert31/SNCF
引用
@article{arxiv.2210.04578,
title = {Is your noise correction noisy? PLS: Robustness to label noise with two stage detection},
author = {Paul Albert and Eric Arazo and Tarun Krishna and Noel E. O'Connor and Kevin McGuinness},
journal= {arXiv preprint arXiv:2210.04578},
year = {2022}
}
备注
9 pages 4 figures. Accepted at WACV 2023