一种基于梯度的带噪标签在线鲁棒深度神经网络训练方法
机器学习
2023-06-09 v1
摘要
在众多真实场景的可扩展训练中，带噪标签学习是一个重要课题。然而，以往研究很少考虑数据以流形式到达的在线设置下的该问题。本文提出一种新颖的基于梯度的方法，用于实现模型参数在线学习中的噪标检测，称为在线基于梯度的鲁棒选择（OGRS）。与以往离线训练的样本选择方法需要在每个训练周期前估计数据集的干净比例不同，OGRS 能够通过梯度更新步骤，从具有不同干净比例的数据集中自动选择干净样本，而无需更改参数设置。在训练过程中，OGRS 方法在每次迭代时选择干净样本，并将所选样本输入以增量更新模型参数。我们提供了详细的理论分析，通过引入并证明非凸约束优化问题的次线性局部拉格朗日遗憾（sub-linear local Lagrangian regret），表明数据选择过程收敛到样本空间的低损失区域。实验结果表明，在不同设置下其优于最先进（state-of-the-art）方法。
引用
@article{arxiv.2306.05046,
title = {A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels},
author = {Yifan Yang and Alec Koppel and Zheng Zhang},
journal= {arXiv preprint arXiv:2306.05046},
year = {2023}
}