MaxSup：克服标签平滑中的表示塌陷
机器学习
2026-02-06 v4 人工智能
计算机视觉与模式识别
摘要
标签平滑（Label Smoothing, LS）广泛用于减少神经网络预测的过度自信并提高泛化能力。尽管具有这些益处，但近期研究揭示了LS的两个关键问题：其一，LS在误分类样本上引发过度自信；其二，它将特征表示压缩到过于紧密的簇中，稀释了类内多样性，尽管其具体原因尚未明确。本文对LS引起的损失进行分析分解，暴露出两个关键项：（i）一种正则化项仅在预测正确时抑制过度自信；（ii）一种在误分类情况下的误差放大项。后者迫使网络对错误预测不当地增强确定性，从而加剧表示塌陷。为解决这些问题，我们提出Max Suppression（MaxSup），通过惩罚顶部1个logit而非真实标签logit，将正则化应用于正确和错误预测。通过大量特征空间分析，我们展示MaxSup恢复类内变异并锐化类间边界。在大规模图像分类和多个下游任务上的实验确认，MaxSup是LS更稳健的替代方案。代码已公开：https://github.com/ZhouYuxuanYX/Maximum-Suppression-Regularization
引用
@article{arxiv.2502.15798,
title = {MaxSup: Overcoming Representation Collapse in Label Smoothing},
author = {Yuxuan Zhou and Heng Li and Zhi-Qi Cheng and Xudong Yan and Yifei Dong and Mario Fritz and Margret Keuper},
journal= {arXiv preprint arXiv:2502.15798},
year = {2026}
}
备注
NeurIPS 2025 Oral (0.36% acceptance); code: https://github.com/ZhouYuxuanYX/Maximum-Suppression-Regularization