两个错误不等于正确：在带标签噪声的学习中对抗确认偏置
机器学习
2023-01-09 v3
摘要
噪声标签会损害深度网络的性能。对于鲁棒学习，一种突出的两阶段流程交替进行消除可能错误的标签与半监督训练。然而，丢弃部分噪声标签可能导致信息损失，尤其在 corruption 依赖于数据时，例如类依赖或实例依赖。此外，从代表性两阶段方法 DivideMix 的训练动态中，我们识别出确认偏置的主导作用：伪标签未能纠正相当数量的噪声标签，进而错误累积。为充分利用噪声标签信息并减轻错误纠正，我们提出鲁棒标签翻新（Robust Label Refurbishment, Robust LR），一种融合伪标签与置信度估计技术以翻新噪声标签的新型混合方法。我们表明，该方法成功缓解了标签噪声与确认偏置的损害。结果表明，其在不同数据集与噪声类型上取得最先进（state-of-the-art）性能，即不同强度合成噪声下的 CIFAR，以及具真实世界噪声的 Mini-WebVision 与 ANIMAL-10N。
引用
@article{arxiv.2112.02960,
title = {Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise},
author = {Mingcai Chen and Hao Cheng and Yuntao Du and Ming Xu and Wenyu Jiang and Chongjun Wang},
journal= {arXiv preprint arXiv:2112.02960},
year = {2023}
}
备注
AAAI-23