AnomalyCLIP：面向零样本异常检测的对象无关提示学习
计算机视觉与模式识别
2026-01-05 v12
摘要
零样本异常检测（ZSAD）需要使用辅助数据训练的模型在目标数据集中无任何训练样本的情况下检测异常。当由于数据隐私等各种顾虑而无法获取训练数据时，这是一项关键任务；但它具有挑战性，因为模型需要泛化到不同领域的异常，其中前景对象、异常区域和背景特征（例如不同产品/器官上的缺陷/肿瘤）的外观可能有显著差异。近来，大型预训练视觉-语言模型（VLMs），如 CLIP，已在包括异常检测在内的多种视觉任务中展现出强大的零样本识别能力。然而，其 ZSAD 性能较弱，因为 VLMs 更关注建模前景对象的类别语义而非图像中的异常/正常性。本文中我们提出一种新方法，称为 AnomalyCLIP，以适配 CLIP 实现跨不同领域的准确 ZSAD。AnomalyCLIP 的核心思路是学习对象无关的文本提示，其捕获图像中通用的正常性与异常性，而不管其前景对象如何。这使我们的模型聚焦于异常图像区域而非对象语义，从而实现对多种类型对象的泛化正常与异常识别。在 17 个真实世界异常检测数据集上的大规模实验表明，AnomalyCLIP 在具有高度多样类别语义的缺陷检测和医学影像等领域的数据集中，实现了优越的零样本异常检测与分割性能。代码将发布于 https://github.com/zqhang/AnomalyCLIP。
引用
@article{arxiv.2310.18961,
title = {AnomalyCLIP: Object-agnostic Prompt Learning for Zero-shot Anomaly Detection},
author = {Qihang Zhou and Guansong Pang and Yu Tian and Shibo He and Jiming Chen},
journal= {arXiv preprint arXiv:2310.18961},
year = {2026}
}
备注
Accepted by ICLR 2024