用于训练带噪声标签深度神经网络的广义交叉熵损失
机器学习
2018-12-03 v4 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）在许多学科的各种应用中取得了巨大成功。然而，其优越性能伴随着需要正确标注大规模数据集的高昂代价。此外，由于 DNNs 容量丰富，训练标签中的错误会损害性能。为应对该问题，平均绝对误差（MAE）近来被提出作为常用分类交叉熵（CCE）损失的噪声鲁棒替代方案。然而，正如本文所示，MAE 在 DNNs 和具有挑战性的数据集上表现不佳。我们在此提出一组有理论依据的噪声鲁棒损失函数，可视为 MAE 与 CCE 的推广。所提损失函数可轻易应用于任何现有 DNN 架构与算法，同时在广泛噪声标签场景中取得良好性能。我们报告了使用 CIFAR-10、CIFAR-100 和 FASHION-MNIST 数据集及合成生成噪声标签所进行的实验结果。
引用
@article{arxiv.1805.07836,
title = {Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels},
author = {Zhilu Zhang and Mert R. Sabuncu},
journal= {arXiv preprint arXiv:1805.07836},
year = {2018}
}
备注
32nd Conference on Neural Information Processing Systems (NeurIPS 2018)