$\epsilon$-Softmax：用于缓解标签噪声的近似单热向量

带噪标签是训练准确深度神经网络时常见的挑战。为缓解标签噪声，先前研究提出了 various robust loss functions 以实现标签噪声下的鲁棒性，尤其是对称损失。然而，这些方法通常因过于严格的对称条件而出现欠拟合问题。本文提出一种简单而有效的做法，即 $\epsilon$-softmax，通过修改 softmax 层的输出来近似单热向量，从而以可控的误差 $\epsilon$ 松化对称条件。本质上，$\epsilon$-softmax 不仅是 softmax 层的替代方案，还在隐式地修改损失函数中发挥关键作用。我们在理论上证明，$\epsilon$-softmax 能够实现具有可控超额风险界限的噪声容忍学习。认识到 $\epsilon$-softmax 增强的损失函数在清洁数据集上可能略微降低拟合能力，我们进一步将其与一种对称损失结合，从而在鲁棒性和有效学习之间实现更好的平衡。大量实验表明，我们的方法在缓解合成标签噪声和真实世界标签噪声方面具有优势。代码已公开：https://github.com/cswjl/eps-softmax。