引入分数分类损失以实现对噪声标签的稳健学习

稳健损失函数对于在存在标签噪声的情况下训练深度神经网络至关重要，但现有方法需要大量的数据特定超参数调优。本文引入分数分类损失 (Fractional Classification Loss, FCL)，一种自适应稳健损失，在训练期间自动校准其对标签噪声的稳健性。FCL 基于 active-passive 损失框架构建，采用交叉熵 (CE) 损失的分数导数作为 active 组件，将均绝对误差 (MAE) 作为 passive 组件。通过该公式，我们展示了分数导数阶数 $\mu$ 在一系列损失函数之间形成插值，从 MAE 类稳健性到 CE 类快速收敛。此外，我们将 $\mu$ 集成到基于梯度的优化中作为可学习参数，并自动调整其值，以优化稳健性和收敛速度之间的权衡。我们揭示了 FCL 的独特特性确立了一个关键的权衡，使其能够稳定地学习 $\mu$：对困难或错误标记的样本较低的对数惩罚可提高稳健性，但对容易或干净的数据施加更高的惩罚，降低了模型对这些数据的置信度。因此，FCL 可以动态重塑其损失景观，以实现在标签噪声下的有效分类性能。广泛的基准数据集实验表明，FCL 在无需手动超参数调优的情况下实现了最先进的效果。