基于CLIP的少样本异常分类框架

Zuo Zuo; Jiahao Dong; Yao Wu; Yanyun Qu; Zongze Wu

基于CLIP的少样本异常分类框架

计算机视觉与模式识别 2024-12-06 v1

作者: Zuo Zuo , Jiahao Dong , Yao Wu , Yanyun Qu , Zongze Wu

摘要

工业异常分类（AC）是工业制造中不可或缺的任务，确保了各种产品的质量和安全。为解决工业场景数据稀缺的问题，最近涌现出许多少样本异常检测方法。本文提出一种有效的少样本异常分类（FSAC）框架，采用单阶段训练，称为CLIP-FSAC++。具体而言，我们引入一种跨模态交互模块，称为异常描述符（Anomaly Descriptor），跟随图像和文本编码器，增强了视觉和文本嵌入之间的相关性，并将CLIP的表示从预训练数据适应到目标数据。在异常描述符中，使用图像到文本的跨注意力模块获取图像特定的文本嵌入，并使用文本到图像的跨注意力模块获取文本特定的视觉嵌入。然后，这些模态特定的嵌入用于增强CLIP的原始表示，以提高更好的匹配能力。为评估我们方法在VisA和MVTEC-AD上进行了全面的实验，进行了1、2、4和8-shot设置的少样本正常异常分类。源代码位于https://github.com/Jay-zzcoder/clip-fsac-pp

关键词

少样本异常分类 CLIP 跨注意力异常描述符视觉-文本嵌入

引用

@article{arxiv.2412.03829,
  title  = {CLIP-FSAC++: Few-Shot Anomaly Classification with Anomaly Descriptor Based on CLIP},
  author = {Zuo Zuo and Jiahao Dong and Yao Wu and Yanyun Qu and Zongze Wu},
  journal= {arXiv preprint arXiv:2412.03829},
  year   = {2024}
}

备注

under review

基于CLIP的少样本异常分类框架

摘要

关键词

引用

备注

相关论文