双图增强型 CLIP 用于零样态异常检测
计算机视觉与模式识别
2024-05-09 v1
摘要
图像异常检测是计算机视觉领域的一个具有挑战性的任务。近期视觉语言模型的兴起，尤其是基于 CLIP 框架的研究，为零样态异常检测开辟了新方向。然而，仅依赖文本指导往往不足，突显了额外视觉参考的重要性。本文引入双图增强型 CLIP 方法，构建联合视觉语言评分系统。该方法处理图像对，利用每张图像作为另一张图像的视觉参考，从而丰富推理过程中的视觉上下文。这种双图策略显著提升了异常分类和定位性能。此外，我们引入测试时适应模块，融合合成异常以强化定位能力。该方法充分发挥视觉语言联合异常检测的潜力，在多个数据集上实现与当前 SOTA 方法相当的性能。
引用
@article{arxiv.2405.04782,
title = {Dual-Image Enhanced CLIP for Zero-Shot Anomaly Detection},
author = {Zhaoxiang Zhang and Hanqiu Deng and Jinan Bao and Xingyu Li},
journal= {arXiv preprint arXiv:2405.04782},
year = {2024}
}