COOkeD：面向零样本 CLIP 时代的基于集成的 OOD 检测
计算机视觉与模式识别
2025-07-31 v1 人工智能
机器学习
摘要
准确识别测试时出现的未知类别是值得信赖的图像识别系统中的重要组成部分。现有的 OOD 检测方法通常依赖单一分类器，导致研究领域在经典监督设置（如在 CIFAR100 上训练的 ResNet18 分类器）与零样本设置（将类别名称作为提示输入到 CLIP）之间形成分歧。在这两种情况下，一个突出的挑战在于 OOD 检测性能被隐式地限制于分类器在分布内（ID）数据上的能力。本文我们表明，通过从两个方向保持开放态度，即可实现显著的 OOD 检测效果。具体而言，通过构建异构集成器即可实现这一点——COOkeD 组合了在特定数据集上进行端到端训练的封闭世界分类器、零样本 CLIP 分类器以及基于 CLIP 图像特征训练的线性探针分类器的预测。虽然这种方法在表面上看起来笨重，但它是模块化的、后处理的，能够利用预训练视觉语言模型（VLM）的可用性，因此相较于训练单个标准分类器引入的开销极小。我们在流行的 CIFAR100 和 ImageNet 基准上评估了 COOkeD，同时也考虑了从训练时标签噪声、到测试时协变量迁移、再到此前被忽略的零样本迁移等更具挑战性、更贴近现实的情形。尽管方法简单，COOkeD 仍实现了与现有经典和 CLIP-based OOD 检测方法相比的领先性能和更好的鲁棒性。代码已公开于 https://github.com/glhr/COOkeD
引用
@article{arxiv.2507.22576,
title = {COOkeD: Ensemble-based OOD detection in the era of zero-shot CLIP},
author = {Galadrielle Humblot-Renaux and Gianni Franchi and Sergio Escalera and Thomas B. Moeslund},
journal= {arXiv preprint arXiv:2507.22576},
year = {2025}
}
备注
accepted at ICCVW'25 - Systematic Trust in AI Models: Ensuring Fairness, Reliability, Explainability, and Accountability in Machine Learning Frameworks