基于人类标签噪声的深度学习鲁棒性测试
机器学习
2024-12-03 v1
摘要
在深度学习（DL）系统中，训练数据集中的标签噪声常会导致模型性能下降，因为模型可能从误标记的数据中学习到错误模式。带噪标签学习（Learning with Noisy Labels, LNL）领域引入了一些方法，以有效地处理存在噪声标签的数据集进行训练。传统方法使用合成标签噪声进行测试，即随机（且自动）翻转真实标签。然而，最近的研究表明，模型在人类标签噪声下的表现远优于合成标签噪声，这表明需要更贴近实际的测试场景来反映源于不完善人工标记所引入的噪声。这进一步凸显了生成模拟人类标签噪声的真实噪声以进行深入神经网络测试的必要性。为填补这一差距，本文提出了基于聚类的噪声（Cluster-Based Noise, CBN），一种用于生成特征依赖性噪声的方法，模拟人类标签噪声。通过对CIFAR-10N数据集上标签记忆的案例研究，我们设计CBN以创建更真实的测试，以评估LNL方法。我们的实验表明，当前LNL方法在使用CBN进行测试时表现更差，这凸显了其作为测试神经网络的严谨方法的作用。随后，我们提出了软邻居标签采样（Soft Neighbor Label Sampling, SNLS），一种针对CBN的方法，显示其在处理这类更具挑战性的噪声方面优于现有技术。
引用
@article{arxiv.2412.00244,
title = {Robust Testing for Deep Learning using Human Label Noise},
author = {Gordon Lim and Stefan Larson and Kevin Leach},
journal= {arXiv preprint arXiv:2412.00244},
year = {2024}
}