基于神经崩塌实现特征分离的异常分布检测
计算机视觉与模式识别
2025-02-28 v2 机器学习
摘要
在开放世界中，检测标签与训练分布（in-distribution, ID）样本标签不相交的异常分布（out-of-distribution, OOD）数据，对可靠的深度神经网络（DNN）至关重要。为获得更好的检测性能，有人类在辅助 OOD 数据集上微调模型，通过在模型输出上定义分离损失来放大 ID 与 OOD 数据之间的差异。然而，这些研究均未考虑放大特征差异，这应比仅放大输出差异更为有效。主要困难在于 OOD 样本的多样性，这使得难以描述其特征分布，更别提设计损失以将其与 ID 特征分离了。本文基于一种称为神经崩塌（Neural Collapse, NC）的 ID 特征聚合属性来构建问题。NC 指的是 ID 样本在隐藏层特征在同一类别内几乎与该类别最后一个层权重一致。在此基础上，我们提出一种简单而有效的损失函数——分离损失（Separation Loss），将 OOD 数据的特征绑定在与由 NC 形成的 ID 特征主子空间正交的子空间中。如此一来，ID 与 OOD 样本的特征在不同维度上被分离。通过优化特征分离损失而非仅放大输出差异，我们的检测方法在无需任何额外数据增强或采样的情况下，在 CIFAR10、CIFAR100 和 ImageNet 基准上实现了最先进（SOTA）性能，凸显了特征分离在异常分布检测中的重要性。代码已公开 https://github.com/Wuyingwen/Pursuing-Feature-Separation-for-OOD-Detection。
引用
@article{arxiv.2405.17816,
title = {Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection},
author = {Yingwen Wu and Ruiji Yu and Xinwen Cheng and Zhengbao He and Xiaolin Huang},
journal= {arXiv preprint arXiv:2405.17816},
year = {2025}
}
备注
ICLR 2025