深度学习对大规模标签噪声具有鲁棒性
机器学习
2018-02-27 v3 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
在大规模监督数据集上训练的深度神经网络已在图像分类和其他任务中取得了令人瞩目的成果。然而，高质量标注数据集的收集可能耗时且昂贵，这使得人们越来越关注更易获取但噪声更大的数据集。本文表明，深度神经网络能够从真实标签被错误标签大量淹没的训练数据中进行泛化。我们展示了在MNIST、CIFAR和ImageNet的损坏数据上训练后，模型取得了非常高的测试性能。例如，在MNIST上，即使每个干净的训练样本被100个随机标记的样本稀释后，我们仍能获得超过90%的测试准确率。这种行为在多种标签噪声模式下均成立，即使错误标签偏向于易混淆的类别也是如此。我们表明，在此种情况下进行训练需要显著增加数据集规模，但增幅可控，且与正确标签被稀释的倍数相关。最后，我们对结果进行了分析，揭示了噪声增加如何减小有效批量大小。
引用
@article{arxiv.1705.10694,
title = {Deep Learning is Robust to Massive Label Noise},
author = {David Rolnick and Andreas Veit and Serge Belongie and Nir Shavit},
journal= {arXiv preprint arXiv:1705.10694},
year = {2018}
}