CLIP-AD: 一种用于零样本异常检测的语言引导分阶段双路径模型
计算机视觉与模式识别
2024-03-05 v2
摘要
本文研究零样本异常检测(AD),即在无测试对象参考图像的情况下执行异常检测。我们提出一种称为 CLIP-AD 的框架,以利用大型视觉-语言模型 CLIP 的零样本能力。首先,我们从分布视角重新解读文本提示设计,并提出代表性向量选择(RVS)范式以获取改进的文本特征。其次,我们注意到在异常图的直接计算中存在相反预测与无关高亮问题。为解决这些问题,我们引入一种分阶段双路径模型(SDP),其利用来自不同层级的特征并应用架构与特征修正。最后,深入探究这两种现象,我们指出图像与文本特征在联合嵌入空间中并未对齐。因此,我们通过添加线性层引入微调策略并构建扩展模型 SDP+,进一步提升性能。大量实验证明了我们方法的有效性,例如在 MVTec-AD 上,SDP 在分割指标 F1-max/PRO 上优于 SOTA WinCLIP 达 +4.2/+10.7,而 SDP+ 实现了 +8.3/+20.5 的提升。
引用
@article{arxiv.2311.00453,
title = {CLIP-AD: A Language-Guided Staged Dual-Path Model for Zero-shot Anomaly Detection},
author = {Xuhai Chen and Jiangning Zhang and Guanzhong Tian and Haoyang He and Wuhao Zhang and Yabiao Wang and Chengjie Wang and Yong Liu},
journal= {arXiv preprint arXiv:2311.00453},
year = {2024}
}