利用Dropout正则化从噪声标签学习深度网络
计算机视觉与模式识别
2017-05-10 v1 机器学习
机器学习
摘要
大型数据集通常具有不可靠的标签——例如那些从Amazon's Mechanical Turk或社交媒体平台获得的标签——并且在错误标记的数据集上训练的分类器往往表现出较差的性能。我们提出了一种简单有效的技术，用于在训练深度神经网络时考虑标签噪声。我们为标准的深度网络增加了一个softmax层来建模标签噪声统计。然后，我们在（可能是错误标记的）数据集上通过端到端随机梯度下降联合训练深度网络和噪声模型。增强的模型是超定的，因此为了鼓励学习非平凡的噪声模型，我们在训练期间对噪声模型的权重应用Dropout正则化。在CIFAR-10和MNIST数据集的噪声版本上的数值实验表明，所提出的Dropout技术优于SOTA方法。
引用
@article{arxiv.1705.03419,
title = {Learning Deep Networks from Noisy Labels with Dropout Regularization},
author = {Ishan Jindal and Matthew Nokleby and Xuewen Chen},
journal= {arXiv preprint arXiv:1705.03419},
year = {2017}
}
备注
Published at 2016 IEEE 16th International Conference on Data Mining