分布外检测的无监督评估：以数据为中心的视角
计算机视觉与模式识别
2023-03-17 v2 人工智能
摘要
分布外（OOD）检测方法假定它们拥有测试真值，即各个测试样本是分布内（IND）还是 OOD。然而，在现实世界中，我们并不总是拥有这样的真值，因此不知道哪个样本被正确检测，也无法计算诸如 AUROC 之类的指标来评估不同 OOD 检测方法的性能。在本文中，我们首次提出 OOD 检测中的无监督评估问题，旨在无 OOD 标签的情况下评估现实世界变化环境中的 OOD 检测方法。我们提出三种方法来计算 Gscore 作为 OOD 检测性能的无监督指标。我们进一步引入了一个新的基准 Gbench，其拥有 200 个具有不同标签空间的现实世界 OOD 数据集，用于训练和评估我们的方法。通过实验，我们发现 Gscore 与 OOD 检测性能之间存在强烈的定量相关性。大量实验表明，我们的 Gscore 达到了最先进的性能。Gscore 也能很好地泛化到不同的 IND/OOD 数据集、OOD 检测方法、骨干网络和数据集规模。我们进一步提供了关于骨干网络和 IND/OOD 数据集对 OOD 检测性能影响的有趣分析。数据和代码将公开可用。
引用
@article{arxiv.2302.08287,
title = {Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective},
author = {Yuhang Zhang and Weihong Deng and Liang Zheng},
journal= {arXiv preprint arXiv:2302.08287},
year = {2023}
}