利用神经激活先验进行分布外检测
计算机视觉与模式识别
2024-05-27 v4
摘要
分布外检测 (OOD) 是在现实世界部署机器学习模型以处理未见场景的关键技术。在本文中，我们首先提出了一种简单而有效的用于 OOD 检测的神经激活先验 (NAP)。我们的神经激活先验基于一个关键观察：对于全训练神经网络全局池化层之前的通道，分布内 (ID) 样本激活少数神经元并产生大响应的概率显著高于分布外 (OOD) 样本。直观的解释是，对于在 ID 数据集上完全训练的模型，每个通道都会在检测 ID 数据集中的特定模式方面发挥作用，当输入样本中检测到该模式时，少数神经元会被激活并产生大响应。随后，我们提出了一种基于此先验的新评分函数，以突出这些强激活神经元在 OOD 检测中的作用。我们的方法是即插即用的，不会导致 ID 数据分类性能下降，且不需要来自训练或外部数据集的额外训练或统计信息。值得注意的是，以往的方法主要依赖神经网络的全局池化后特征，而我们利用的通道内分布信息会被全局池化算子丢弃。因此，我们的方法与现有方法正交，并可在各种应用中与它们有效结合。实验结果表明，我们的方法在 CIFAR 基准和 ImageNet 数据集上实现了最先进的性能，证明了所提出先验的强大能力。最后，我们将该方法扩展至 Transformers，实验发现 NAP 也能显著提升 Transformers 上的 OOD 检测性能，从而证明了该先验知识的广泛适用性。
引用
@article{arxiv.2402.18162,
title = {Out-of-Distribution Detection using Neural Activation Prior},
author = {Weilin Wan and Weizhong Zhang and Quan Zhou and Fan Yi and Cheng Jin},
journal= {arXiv preprint arXiv:2402.18162},
year = {2024}
}