FodFoM：基于基础模型生成伪造离群数据以提升视觉离群分布检测器性能
计算机视觉与模式识别
2024-12-10 v1 机器学习
摘要
离群分布（OOD）检测在开放世界应用中至关重要。OOD 检测的核心挑战在于缓解模型对 OOD 数据的过度自信。虽然最近使用辅助离群数据集或合成离群特征的方法在 OOD 检测方面显示出有前景的性能，但由于数据收集成本高昂或假设条件被简化，限制了其应用。本文提出一种新型 OOD 检测框架 FodFoM，通过创造性地组合多个基础模型生成两种具有挑战性的伪造离群图像用于分类器训练。第一种类型基于 BLIP-2 的图像描述能力、CLIP 的视觉语言知识以及 Stable Diffusion 的图像生成能力。联合利用这些基础模型构建与内部分布（ID）图像在语义上相似但又不同的伪造离群图像。对于第二种类型，利用 GroundingDINO 的目标检测能力帮助构建纯背景图像，通过模糊 ID 图像中的前景对象来实现。该提议框架可以灵活地与多种现有 OOD 检测方法结合。广泛的经验评估表明，借助构建的伪造图像，能够更准确地区分真实 OOD 图像与 ID 图像。在多个基准测试上实现了新的状态突破 OOD 检测性能。代码地址为 \url{https://github.com/Cverchen/ACMMM2024-FodFoM}。
引用
@article{arxiv.2412.05293,
title = {FodFoM: Fake Outlier Data by Foundation Models Creates Stronger Visual Out-of-Distribution Detector},
author = {Jiankang Chen and Ling Deng and Zhiyong Gan and Wei-Shi Zheng and Ruixuan Wang},
journal= {arXiv preprint arXiv:2412.05293},
year = {2024}
}
备注
13 pages, 7 figures