一种面向噪声标签的集成抗噪 K 折交叉验证选择方法
机器学习
2021-07-07 v1 计算机视觉与模式识别
摘要
我们考虑在存在不同比例噪声标签时训练鲁棒且准确的深度神经网络(DNNs)的问题。大规模数据集往往包含被 DNNs 记忆的误标样本,从而阻碍性能。通过适当处理,这种退化可得以缓解。有两个问题需要考虑:如何区分干净样本以及如何处置噪声样本。本文中,我们提出集成抗噪 K 折交叉验证选择(E-NKCVS)以从噪声数据中有效选择干净样本,解决第一个问题。针对第二个问题,我们为任何被判定为标签不确定或可能损坏的样本创建新的伪标签。E-NKCVS 为每个样本获取多个预测标签,并利用这些标签的熵来调谐伪标签与给定标签的权重。我们提供了噪声标签设定下算法的理论分析与广泛验证。我们在多种图像与文本分类任务上评估了我们的方法,其中标签被以不同噪声比例人为损坏。此外,还使用了两个大型真实世界噪声数据集 Clothing-1M 和 WebVision。经验表明,E-NKCVS 对相当比例的标签噪声具有高度容忍性,并相较最先进方法有一致提升。尤其在噪声比例更高的更难数据集上,我们相较第二优模型可实现显著改进。而且,我们提出的方法可轻松集成到现有 DNN 方法中以提升其抗标签噪声的鲁棒性。
引用
@article{arxiv.2107.02347,
title = {An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels},
author = {Yong Wen and Marcus Kalander and Chanfei Su and Lujia Pan},
journal= {arXiv preprint arXiv:2107.02347},
year = {2021}
}
备注
Accepted by the IJCAI2021 Weakly Supervised Representation Learning (WSRL) Workshop