基于跨模型一致性的标签去噪

从被污染的标签中学习在现实世界的机器学习应用中非常普遍。记忆此类噪声标签会影响模型的学习，导致次优性能。在这项工作中，我们提出了一种从噪声标签中学习鲁棒机器学习模型的新框架。通过实证研究发现，不同模型在干净样本上做出的预测相对相似，而在噪声样本上的预测在不同模型间差异更大。受此观察启发，我们提出去噪 with cross-model agreement（DeCA，跨模型一致性去噪），旨在最小化由两个机器学习模型参数化的真实标签分布之间的 KL 散度，同时最大化数据观测的似然。我们将所提出的 DeCA 应用于二分类标签场景和多分类标签场景。对于二分类标签场景，我们选择隐式反馈推荐作为下游任务，并在四个数据集上使用四种最先进的推荐模型进行实验。对于多分类标签场景，下游应用是在两个基准数据集上的图像分类。实验结果表明，与正常训练及其他去噪方法相比，所提方法在二分类和多分类标签场景下均显著提升了模型性能。