超越捷径：基于神经崩溃视角的去偏学习
计算机视觉与模式识别
2025-09-22 v2 机器学习
摘要
近期研究注意到了一种被称为神经崩溃的有趣现象，即当神经网络在特征空间与训练目标之间建立正确的关联时，其最后一层特征与分类器权重将坍缩为一个稳定且对称的结构。在本文中，我们将对神经崩溃的研究扩展到具有不平衡属性的偏置数据集。我们观察到，模型极易陷入捷径学习的陷阱，并在训练早期形成偏置的、非坍缩的特征空间，这难以逆转并限制了泛化能力。为了解决偏置分类的根本原因，我们遵循近期关于先验训练的启发，提出了一种无额外训练复杂度的避免捷径学习框架。通过基于神经崩溃结构精心设计的捷径先验，鼓励模型跳过对简单捷径的追求，并自然地捕捉内在关联。实验结果表明，我们的方法在训练期间诱导出更好的收敛特性，并在合成和真实世界的偏置数据集上实现了 SOTA 的泛化性能。我们的代码可在 https://github.com/RachelWolowitz/Navigate-beyond-Shortcuts/tree/main 获取。
引用
@article{arxiv.2405.05587,
title = {Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse},
author = {Yining Wang and Junjie Sun and Chenyue Wang and Mi Zhang and Min Yang},
journal= {arXiv preprint arXiv:2405.05587},
year = {2025}
}
备注
CVPR 2024 Highlight