关于噪声标签的鲁棒学习：一种置换层方法
机器学习
2022-11-30 v1 计算机视觉与模式识别
摘要
标签噪声的存在给深度神经网络（DNN）的训练过程带来了显著挑战（如泛化能力差）。作为应对，本文提出一种称为PermLL的置换层学习方法，用于动态校准受实例依赖与实例独立标签噪声影响的DNN训练过程。所提方法通过实例依赖的置换层扩充了传统DNN的架构。该层本质上是置换矩阵的凸组合，针对每个样本动态校准。置换层的主要目标是纠正噪声样本的损失，从而减轻标签噪声的影响。我们在本文中给出PermLL的两种变体：一种将置换层应用于模型预测，另一种直接应用于给定的噪声标签。此外，我们对两种变体进行了理论比较，并表明以往方法可视为其中一种变体。最后，我们通过实验验证PermLL，表明其在真实与合成数据集上均达到了最先进的性能。
引用
@article{arxiv.2211.15890,
title = {On Robust Learning from Noisy Labels: A Permutation Layer Approach},
author = {Salman Alsubaihi and Mohammed Alkhrashi and Raied Aljadaany and Fahad Albalawi and Bernard Ghanem},
journal= {arXiv preprint arXiv:2211.15890},
year = {2022}
}