标签噪声：无所事事即是幸福
机器学习
2024-11-04 v1 机器学习
摘要
我们建立了一个用于学习多类、实例相关标签噪声的新理论框架。该框架将标签噪声学习视为一种形式的域适应，具体而言是后验漂移下的域适应。我们引入了相对信号强度 (RSS) 的概念，这是一种衡量从噪声后验到干净后验可转移性的点测度。借助 RSS，我们在剩余风险上建立了接近的上界和下界。我们的理论发现支持简单的"噪声不知情经验风险最小化 (NI-ERM)"❦原则，即在忽略标签噪声的同时最小化经验风险。最后，我们将这一理论洞察转化为实践：通过使用 NI-ERM 在自监督特征提取器之上拟合线性分类器，我们在 CIFAR-N 数据挑战中实现了最先进的性能。
引用
@article{arxiv.2411.00079,
title = {Label Noise: Ignorance Is Bliss},
author = {Yilun Zhu and Jianxin Zhang and Aditya Gangrade and Clayton Scott},
journal= {arXiv preprint arXiv:2411.00079},
year = {2024}
}