无监督标签噪声建模与损失校正
计算机视觉与模式识别
2019-06-06 v2
摘要
尽管对少量标签噪声具有鲁棒性，但已有研究表明，使用随机梯度方法训练的卷积神经网络很容易拟合随机标签。当存在正确与错误标注目标相混合的情况时，网络往往先拟合前者再拟合后者。这表明可在训练期间采用合适的双组分混合模型作为样本损失值的无监督生成模型，从而实现样本被误标概率的在线估计。具体而言，我们提出一种 beta 混合模型来估计该概率，并借助网络预测（即所谓的自举损失）对损失进行校正。我们进一步适配 mixup 增强以将我们的方法向前推进一步。在 CIFAR-10/100 和 TinyImageNet 上的实验表明，其对标签噪声的鲁棒性大幅优于近期最先进水平。源代码见 https://git.io/fjsvE
引用
@article{arxiv.1904.11238,
title = {Unsupervised Label Noise Modeling and Loss Correction},
author = {Eric Arazo and Diego Ortego and Paul Albert and Noel E. O'Connor and Kevin McGuinness},
journal= {arXiv preprint arXiv:1904.11238},
year = {2019}
}
备注
Accepted to ICML 2019