使深度神经网络对标签噪声具有鲁棒性：一种损失校正方法
机器学习
2017-03-23 v2 机器学习
摘要
我们提出了一种有理论基础的、用于训练深度神经网络（包括循环网络）的方法，使其能够应对类别相关的标签噪声。我们提出了两种与具体应用领域和网络架构无关的损失校正程序。只要我们知道每个类别被误标为另一个类别的概率，它们仅需至多一次矩阵求逆和乘法即可实现。我们进一步展示了如何估计这些概率，通过将一种最新的噪声估计技术适配到多类设置中，从而提供了一个端到端的框架。我们在 MNIST、IMDB、CIFAR-10、CIFAR-100 以及一个大规模服装图像数据集上进行了大量实验，采用了多种架构——堆叠 dense、卷积、池化、dropout、批归一化、词嵌入、LSTM 和残差层——证明了我们方法的噪声鲁棒性。附带地，我们还证明了当 ReLU 是唯一的非线性时，损失曲率不受类别相关标签噪声的影响。
引用
@article{arxiv.1609.03683,
title = {Making Deep Neural Networks Robust to Label Noise: a Loss Correction Approach},
author = {Giorgio Patrini and Alessandro Rozza and Aditya Menon and Richard Nock and Lizhen Qu},
journal= {arXiv preprint arXiv:1609.03683},
year = {2017}
}
备注
Oral paper at CVPR 2017