WinCLIP：零样本/少样本异常分类与分割
计算机视觉与模式识别
2023-03-28 v1 人工智能
计算与语言
摘要
视觉异常分类与分割对于工业质量检测自动化至关重要。该领域先前研究的重点是为每个质量检测任务训练定制模型，这需要任务特定的图像与标注。本文脱离这一范式，处理零样本与少正常样本异常的异常分类与分割。近来，视觉-语言模型 CLIP 展现出革命性的通用性，相较于全监督具有竞争力的零样本/少样本性能。但 CLIP 在异常分类与分割任务上表现不足。因此，我们提出基于窗口的 CLIP（WinCLIP），其具有（1）对状态词与提示模板的组合集成，以及（2）与文本对齐的窗口/块/图像级特征的高效提取与聚合。我们还提出其少正常样本扩展 WinCLIP+，其利用正常图像的互补信息。在 MVTec-AD（与 VisA）上，无需进一步调优，WinCLIP 在零样本异常分类与分割中达到 91.8%/85.1%（78.1%/79.6%）AUROC，而 WinCLIP+ 在 1-正常样本下达到 93.1%/95.2%（83.8%/96.4%），大幅超越 SOTA。
引用
@article{arxiv.2303.14814,
title = {WinCLIP: Zero-/Few-Shot Anomaly Classification and Segmentation},
author = {Jongheon Jeong and Yang Zou and Taewan Kim and Dongqing Zhang and Avinash Ravichandran and Onkar Dabeer},
journal= {arXiv preprint arXiv:2303.14814},
year = {2023}
}
备注
Accepted to Conference on Computer Vision and Pattern Recognition (CVPR) 2023