基于动态损失阈值的噪声标签学习
机器学习
2021-04-07 v1
摘要
大量研究已证明，深度神经网络（DNNs）即便给定带噪声标签的数据，最终也能拟合一切，并导致泛化性能不佳。然而，近期研究表明 DNNs 倾向于逐步记忆数据，从正确数据转向错标数据。受此发现启发，我们提出一种名为动态损失阈值（DLT）的新方法。在训练过程中，DLT 记录每个样本的损失值并计算动态损失阈值。具体而言，DLT 将每个样本的损失值与当前损失阈值比较。损失较小的样本更可能被视为干净样本，反之亦然。随后，DLT 丢弃潜在损坏的标签并进一步利用监督学习技术。在 CIFAR-10/100 与 Clothing1M 上的实验表明相较近期最优（SOTA）方法有明显提升。此外，我们首次考察两个现实问题。首先，我们提出一种基于 DNNs 早期与晚期训练阶段损失差异来估计数据集噪声率的新方法。其次，我们探究难样本（难以区分的样本）对噪声标签学习过程的影响。
引用
@article{arxiv.2104.02570,
title = {Learning from Noisy Labels via Dynamic Loss Thresholding},
author = {Hao Yang and Youzhi Jin and Ziyin Li and Deng-Bao Wang and Lei Miao and Xin Geng and Min-Ling Zhang},
journal= {arXiv preprint arXiv:2104.02570},
year = {2021}
}