探究标签平滑为何会降低选择性分类性能及如何修复
机器学习
2025-02-21 v3 人工智能
计算机视觉与模式识别
摘要
标签平滑 (LS) 是一种流行的神经网络训练正则化方法，因为它在提高测试准确率方面非常有效且易于实现。“硬”独热标签通过将概率质量均匀分配给其他类别而被“平滑”，从而减少过拟合。先前的工作表明，在某些情况下，LS 会降低选择性分类 (SC) 的性能——选择性分类旨在利用模型的不确定性来拒绝错误分类。在这项工作中，我们首先在大规模任务和架构的扩展范围内进行了实证证明，表明 LS 会持续降低 SC 性能。然后，我们通过分析 logit 级别的梯度来弥补现有知识的空白，为这一行为提供了解释：当预测可能正确时，LS 会更多地抑制最大 logit，而当预测可能错误时，抑制较少，从而破坏了正确与错误预测的不确定性排序。这阐明了先前报道的实验结果，即在 SC 任务中强分类器的表现不佳。然后，我们证明了事后 logit 归一化在恢复由 LS 引起的 SC 性能损失方面的经验有效性。此外，联系回我们的梯度分析，我们再次解释了为什么这种归一化是有效的。
引用
@article{arxiv.2403.14715,
title = {Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It},
author = {Guoxuan Xia and Olivier Laurent and Gianni Franchi and Christos-Savvas Bouganis},
journal= {arXiv preprint arXiv:2403.14715},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025