控制神经坍缩增强分布外检测与迁移学习
机器学习
2025-09-23 v3
摘要
分布外（OOD）检测和OOD泛化在深度神经网络（DNNs）中被广泛研究，但它们之间的关系仍缺乏深入理解。我们通过实验证明，网络层中神经坍缩（NC）的程度与这两个目标呈负相关：较强的NC能改善OOD检测，但会降低泛化能力；而较弱的NC能增强泛化能力，代价是检测性能下降。这种权衡表明，单一特征空间无法同时实现这两个任务。为了解决这一问题，我们建立了一个将NC与OOD检测和泛化联系起来的理论框架。我们证明，熵正则化能够缓解NC从而改善泛化，而固定的单纯形等角紧框架（ETF）投影器则强制NC以获得更好的检测效果。基于这些见解，我们提出了一种在不同DNN层控制NC的方法。在实验中，我们的方法在多种OOD数据集和DNN架构上的两项任务中均表现优异。我们的实验代码可在以下网址获取：https://yousuf907.github.io/ncoodg
引用
@article{arxiv.2502.10691,
title = {Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning},
author = {Md Yousuf Harun and Jhair Gallardo and Christopher Kanan},
journal= {arXiv preprint arXiv:2502.10691},
year = {2025}
}
备注
Published in ICML 2025