Pi-DUAL：利用特权信息区分干净与噪声标签
机器学习
2024-05-29 v2 计算机视觉与模式识别
摘要
标签噪声是深度学习中普遍存在的问题，常损害训练模型的泛化性能。近来，利用特权信息（PI）——仅在训练时可用而测试时不可用的信息——已成为缓解此问题的有效途径。然而，现有基于 PI 的方法在防止对标签噪声过拟合方面未能持续优于其无 PI 的对应方法。为弥补这一不足，我们提出 Pi-DUAL，一种旨在利用 PI 区分干净与错误标签的架构。Pi-DUAL 将输出 logits 分解为基于常规输入特征的预测项，以及仅受 PI 影响的噪声拟合项。由 PI 引导的门控机制在这些项间自适应地转移焦点，使模型能隐式分离干净与错误标签的学习路径。实证上，Pi-DUAL 在关键 PI 基准上取得显著性能提升（如 ImageNet-PI 上 +6.8%），确立了新的 SOTA 测试集准确率。此外，Pi-DUAL 是一种在训练后识别噪声样本的有力方法，在此任务上优于其他强方法。总体而言，Pi-DUAL 是一种简单、可扩展且实用的方法，用于在各类具有 PI 的真实场景中减去轻标签噪声的影响。
引用
@article{arxiv.2310.06600,
title = {Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels},
author = {Ke Wang and Guillermo Ortiz-Jimenez and Rodolphe Jenatton and Mark Collier and Efi Kokiopoulou and Pascal Frossard},
journal= {arXiv preprint arXiv:2310.06600},
year = {2024}
}
备注
Accepted ICML 2024