面向噪声标签学习的优化梯度裁剪

先前的研究表明，通过对损失函数相对于模型预测概率的梯度进行约束，可以增强模型对噪声标签的鲁棒性。这些方法通常通过验证数据指定固定的最优阈值来进行梯度裁剪，以获得对噪声的所需鲁棒性。然而，这种常见做法忽略了在训练不同阶段来自干净样本和噪声标签样本的梯度分布的动态特性，显著限制了模型适应训练过程中梯度变化本质的能力。为此，我们提出了一种简单而有效的方法，称为优化梯度裁剪 (OGC)，该方法根据裁剪后噪声梯度与干净梯度之比动态调整裁剪阈值，通过建模干净样本和噪声样本的分布来估计该比例。这使我们能够在每个训练步骤中修改裁剪阈值，有效控制噪声梯度的影响。此外，我们提供了统计分析，以确定 OGC 的噪声容忍能力。我们在各种类型的标签噪声（包括对称噪声、非对称噪声、实例相关噪声以及真实世界噪声）上进行了广泛实验，证明了该方法的有效性。