基于视觉语言模型的真实世界离分布检测基准与评估
计算机视觉与模式识别
2025-05-30 v3
摘要
离分布检测（OOD检测）是一种在推断期间检测 OOD 样本，以确保部署模型安全的任务。然而，传统基准已达到性能饱和，使得难以比较最新的 OOD 检测方法。为此，我们引入了三个新型 OOD 检测基准，能够更深入地理解方法特征并反映真实世界条件。首先，我们提出了ImageNet-X，用于评估在挑战性语义偏移下的性能。其次，我们提出ImageNet-FS-X，用于全景 OOD 检测，评估对协变量偏移（特征分布偏移）的鲁棒性。最后，我们提出Wilds-FS-X，将这些评估扩展到真实世界数据集，提供更全面的测试平台。我们的实验表明，最近的基于CLIP的 OOD 检测方法在这三个提出的基准中以不同程度受挑战，而它们中没有一种方法在所有基准上都一致优于其他方法。我们希望社区超越特定基准，包括更多反映真实世界情景的挑战性条件。代码 https://github.com/hoshi23/OOD-X-Benchmarks。
关键词
引用
@article{arxiv.2501.18463,
title = {A Benchmark and Evaluation for Real-World Out-of-Distribution Detection Using Vision-Language Models},
author = {Shiho Noda and Atsuyuki Miyai and Qing Yu and Go Irie and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2501.18463},
year = {2025}
}
备注
Accepted at ICIP2025 Dataset and Benchmark Track