交叉熵与标签平滑：神经坍缩视角
机器学习
2025-09-30 v3
摘要
标签平滑损失是一种广泛采用的缓解深度神经网络过拟合的技术。本文从神经坍缩（NC）的角度研究标签平滑，神经坍缩是一个强大的经验和理论框架，用于描述训练末期模型的行为。我们首先通过实验证明，使用标签平滑训练的模型更快地收敛到神经坍缩解，并达到更强的神经坍缩水平。此外，我们表明在相同的NC1水平下，标签平滑损失下的模型表现出更强的NC2。这些发现为标签平滑损失下的性能提升和更好的模型校准提供了有价值的见解。然后，我们利用无约束特征模型推导出两种损失函数的全局最小化器的闭式解，并进一步证明标签平滑下的模型具有更低的条件数，因此在理论上收敛更快。我们的研究结合了经验证据和理论结果，不仅提供了对标签平滑和交叉熵损失之间差异的细致见解，而且作为如何使用强大的神经坍缩框架来加深我们对深度神经网络理解的示例。
引用
@article{arxiv.2402.03979,
title = {Cross Entropy versus Label Smoothing: A Neural Collapse Perspective},
author = {Li Guo and George Andriopoulos and Zifan Zhao and Shuyang Ling and Zixuan Dong and Keith Ross},
journal= {arXiv preprint arXiv:2402.03979},
year = {2025}
}