标签噪声类型及其对深度学习的影响

深度学习的近期成功主要归功于具有干净标注的大型数据集的可用性。然而，由于实际挑战，收集干净标注的数据集并非总是可行。因此，标签噪声是数据集中的常见问题，文献中提出了许多在存在噪声标签情况下训练深度神经网络的方法。这些方法通常使用在训练集上带有合成标签噪声的基准数据集。然而，存在多种类型的标签噪声，且每一种对学习都有其自身特征性的影响。由于每项工作生成不同种类的标签噪声，在文献中公平地测试和比较这些算法是有问题的。在本工作中，我们提供了不同种类标签噪声对学习影响的详细分析。此外，我们提出一个生成特征依赖标签噪声的通用框架，我们表明这是最具挑战性的学习情形。我们提出的方法旨在通过将数据实例稀疏分布在特征域中来强调它们之间的相似性。通过该方法，更可能被误标的样本由其softmax概率检测出来，其标签被翻转到相应类别。所提方法可应用于任何干净数据集以合成特征依赖的噪声标签。为便于其他研究人员用噪声标签测试其算法，我们分享了最常用基准数据集的损坏标签。我们的代码与生成的噪声合成标签可在线获取。