NoisyAG-News：面向文本分类实例依赖噪声的基准数据集

现有研究在带噪标签学习中主要关注合成标签噪声。虽然合成噪声具有明确的结构特性，但往往难以准确复制现实世界的噪声模式。近年来，人们致力于构建通用且可控的图像分类实例依赖噪声数据集，显著推动了噪声鲁棒学习领域的发展。然而，针对文本分类的噪声标签学习研究仍寥寥无几。为更好地理解现实世界文本分类环境中的标签噪声，我们通过人工标注构建了基准数据集NoisyAG-News。初始时，我们分析标注数据以收集关于现实世界噪声的观察。我们定性和定量地表明，现实世界噪声标签遵循实例依赖模式。随后，我们在NoisyAG-News及其对应的合成噪声数据集上进行了全面学习实验，采用预训练语言模型和噪声处理技术。我们的发现表明，虽然预训练模型对合成噪声具有鲁棒性，但在面对实例依赖噪声时表现不佳，不同混淆程度的样本在训练和测试期间表现不一致。这些现实世界的噪声模式提出了新的重大挑战，迫使我们重新评估噪声标签处理方法。我们希望NoisyAG-News能够促进未来解决方案在带噪标签学习方面的开发与评估。