用于带噪标签深度学习的归一化损失函数
机器学习
2020-06-25 v1 计算机视觉与模式识别
机器学习
摘要
在存在噪声（错误）标签的情况下，鲁棒损失函数对于训练准确的深度神经网络（DNNs）至关重要。已有研究表明，常用的交叉熵（CE）损失对噪声标签并不鲁棒。尽管已设计出新的损失函数，它们仅具有部分鲁棒性。本文中，我们通过理论证明，应用简单归一化可使得：任何损失都能对噪声标签变得鲁棒。然而在实践中，仅鲁棒并不足以让损失函数训练出准确的 DNNs。通过考察若干鲁棒损失函数，我们发现它们存在欠拟合问题。为此，我们提出一种构建鲁棒损失函数的框架，称为主动被动损失（Active Passive Loss, APL）。APL 组合两个相互提升的鲁棒损失函数。在基准数据集上的实验表明，我们的 APL 框架所创建的新损失函数族能持续大幅优于最先进的方法，尤其在 60% 或 80% 错误标签等大模型噪声率下。
引用
@article{arxiv.2006.13554,
title = {Normalized Loss Functions for Deep Learning with Noisy Labels},
author = {Xingjun Ma and Hanxun Huang and Yisen Wang and Simone Romano and Sarah Erfani and James Bailey},
journal= {arXiv preprint arXiv:2006.13554},
year = {2020}
}
备注
Accepted to ICML 2020