深度网络中的共识动态与噪声标签识别
机器学习
2022-10-04 v1 人工智能
摘要
深度神经网络具有惊人的容量和表达能力，似乎可以记忆任何训练集。这在存在噪声标签的训练中引入了问题，因为训练结束时噪声样本无法与干净样本区分。最近的研究通过利用深度网络似乎更早记忆干净样本这一事实来应对这一挑战。这里我们报告一个新的实证结果：对于每个样本，当观察它被集成中每个模型记忆的时间时，噪声样本中看到的多样性远大于干净样本。我们利用这一观察结果开发了一种新的噪声标签过滤方法。该方法基于数据的统计量，捕捉干净数据和噪声数据之间集成学习动态的差异。我们在三个任务上测试了我们的方法：（i）噪声量估计；（ii）噪声过滤；（iii）监督分类。我们表明，我们的方法在使用各种数据集、噪声模型和噪声水平的所有三个任务上都优于现有基线。除了性能提升外，我们的方法还有两个其他优点。（i）简单性，这意味着没有引入额外的超参数。（ii）我们的方法是模块化的：它不是以端到端的方式工作，因此可以用于清理数据集以供任何其他未来使用。
引用
@article{arxiv.2210.00583,
title = {The Dynamic of Consensus in Deep Networks and the Identification of Noisy Labels},
author = {Daniel Shwartz and Uri Stern and Daphna Weinshall},
journal= {arXiv preprint arXiv:2210.00583},
year = {2022}
}