中文

通过神经坍缩视角检测分布外数据

机器学习 2025-04-04 v7 图像与视频处理

摘要

分布外(OOD)检测对于安全部署至关重要;然而,现有检测器往往难以跨不同规模和模型架构的数据集泛化,并且某些在实际应用中可能产生高计算成本。受神经坍缩现象的启发,我们提出了一种通用且高效的 OOD 检测方法。具体而言,我们重新刻画了先前的观察,即分布内(ID)样本形成簇,证明在适当中心化后,这些簇与模型权重向量紧密对齐。此外,我们揭示 ID 特征倾向于扩展为单纯形等角紧框架(simplex Equiangular Tight Frame),这解释了常见的观察即 ID 特征比 OOD 特征离原点更远。结合来自神经坍缩的两点洞见,我们的 OOD 检测器利用特征与权重向量的邻近度,并辅以特征范数来有效过滤 OOD 样本。在现成模型上的大量实验证明了我们的 OOD 检测器在不同场景下的鲁棒性,减轻了泛化差异并提升了整体性能,其推理延迟与基本 softmax 置信度检测器相当。代码见:https://github.com/litianliu/NCI-OOD。

关键词

引用

@article{arxiv.2311.01479,
  title  = {Detecting Out-of-Distribution Through the Lens of Neural Collapse},
  author = {Litian Liu and Yao Qin},
  journal= {arXiv preprint arXiv:2311.01479},
  year   = {2025}
}

备注

CVPR 2025 main conference paper