面向大规模噪声数据学习的噪声鲁棒损失增强

Max Staats; Matthias Thamm; Bernd Rosenow

面向大规模噪声数据学习的噪声鲁棒损失增强

机器学习 2025-01-28 v3 无序系统与神经网络人工智能

作者: Max Staats , Matthias Thamm , Bernd Rosenow

摘要

大型标注数据集不可避免地含有噪声标签，这对训练深度神经网络构成重大挑战，因为它们容易记忆标签。噪声鲁棒损失函数已成为应对此问题的显著策略，但构建一个不易受欠拟合影响的鲁棒损失函数仍具挑战。本文通过定量方法，探究初始化时网络输出与有界损失函数非消失梯度区域在初始学习阶段的有限重叠。利用这些见解，我们通过一种称为logit偏置的新方法解决若干噪声鲁棒损失的欠拟合问题，该方法在正确类别位置的logit上添加一个实数 $\epsilon$ 。logit偏置使这些损失即使在如WebVision般包含超百万图像、1000个类别的数据集上也能取得最先进结果。此外，我们证明本方法可用于确定若干损失函数的最优参数——无需训练网络。值得注意的是，我们的方法基于类别数量确定超参数，从而得到零数据集或噪声相关参数需求的损失函数。

关键词

噪声标签噪声鲁棒损失 logit偏置欠拟合深度神经网络 WebVision 大规模学习

引用

@article{arxiv.2306.05497,
  title  = {Enhancing Noise-Robust Losses for Large-Scale Noisy Data Learning},
  author = {Max Staats and Matthias Thamm and Bernd Rosenow},
  journal= {arXiv preprint arXiv:2306.05497},
  year   = {2025}
}

备注

14 pages, 5 figures

面向大规模噪声数据学习的噪声鲁棒损失增强

摘要

关键词

引用

备注

相关论文