CLIP Meets Diffusion: 异常检测的协同方法
计算机视觉与模式识别
2025-11-06 v3 机器学习
摘要
异常检测是一个复杂的问题，由于异常定义的模糊性、异常类型的多样性（例如局部缺陷和全局缺陷）以及训练数据的稀缺性。因此，它需要一个能够捕捉低级和高级特征的综合性模型，即使数据有限。为此，我们提出了CLIPFUSION，一种同时利用判别式和生成式基础模型的方法。具体而言，基于CLIP的判别式模型擅长捕捉全局特征，而基于扩散的生成式模型有效捕捉局部细节，形成协同互补的方法。值得注意的是，我们提出了一种利用从扩散模型中提取的交叉注意力图和特征图专门用于异常检测的方法。在基准数据集（MVTec-AD、VisA）上的实验结果表明，CLIPFUSION持续优于基线方法，在异常分割和分类方面均取得了出色的性能。我们认为，我们的方法强调了多模态和多模型融合在应对异常检测多方面挑战中的有效性，为实际应用提供了可扩展的解决方案。
引用
@article{arxiv.2506.11772,
title = {CLIP Meets Diffusion: A Synergistic Approach to Anomaly Detection},
author = {Byeongchan Lee and John Won and Seunghyun Lee and Jinwoo Shin},
journal= {arXiv preprint arXiv:2506.11772},
year = {2025}
}
备注
Accepted at TMLR 2025