开集标签噪声可提升对固有标签噪声的鲁棒性

带噪标签学习是弱监督学习中一个具有实际挑战性的问题。在现有文献中，开集噪声总是被认为对泛化有毒，类似于闭集噪声。在本文中，我们通过实验表明开集噪声标签可以是无毒的，甚至有益于针对固有噪声标签的鲁棒性。受这些观察启发，我们提出一种简单而有效的正则化方法，通过将带动态噪声标签的开集样本（ODNL）引入训练。借助ODNL，神经网络的额外容量可在不干扰从干净数据学习模式的情况下被大量消耗。通过SGD噪声的视角，我们表明由我们的方法诱导的噪声是随机方向、无冲突且有偏的，这可能有助于模型收敛到具有更优稳定性的平坦极小值，并迫使模型对分布外（Out-of-Distribution）实例产生保守预测。在带有各类噪声标签的基准数据集上的大量实验结果表明，所提方法不仅增强了许多现有鲁棒算法的性能，而且即使在标签噪声设定下也在分布外检测任务上取得了显著改进。