从噪声预测到真实标签：基于生成模型的噪声预测校准
机器学习
2022-05-27 v3 人工智能
计算机视觉与模式识别
摘要
在机器学习领域中，噪声标签不可避免却存在问题。它使分类器过拟合于噪声标签，从而破坏了分类器的泛化能力。现有的噪声标签方法侧重于在训练过程中修改分类器。这存在两个潜在问题。首先，这些方法不适用于无法进一步访问训练数据的预训练分类器。其次，同时训练分类器并正则化来自噪声标签的所有负面影响并非易事。我们提出了一种在噪声标签学习中的新方法分支，即噪声预测校准（NPC）。通过引入并估计一种经由生成模型的新型转移矩阵，NPC作为后处理方案将预训练分类器的噪声预测校正为真实标签。我们证明NPC在理论上与基于转移矩阵的方法一致。然而，NPC在经验上提供了更准确的真实标签估计途径，即便未参与分类器学习。此外，只要可获得训练样本及其预测，NPC便适用于任何用噪声标签方法训练的分类器。我们的方法NPC在合成与真实世界数据集上均提升了所有基线模型的分类性能。实现代码见https://github.com/BaeHeeSun/NPC。
引用
@article{arxiv.2205.00690,
title = {From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model},
author = {HeeSun Bae and Seungjae Shin and Byeonghu Na and JoonHo Jang and Kyungwoo Song and Il-Chul Moon},
journal= {arXiv preprint arXiv:2205.00690},
year = {2022}
}
备注
21 pages, 9 figures. International Conference on Machine Learning (ICML 2022), Baltimore, Jul 17, 2022