基于相互过滤的零样本异常检测的桥接特征匹配与跨模态对齐
计算机视觉与模式识别
2025-07-16 v1
摘要
随着视觉语言模型（如 CLIP）在零样本和少样本设置中的兴起，CLIP 已被广泛应用于零样本异常检测（ZSAD），其中稀有类别在许多应用中至关重要且期待。本研究引入 FiSeCLIP 用于 ZSAD，结合训练-free CLIP 的特征匹配与跨模态对齐。实际中测试整个数据集不切实可行，而基于小批次的测试更符合实际工业需求，同一批次中的图像可作为相互参考点。因此，FiSeCLIP 利用同一批次中除当前图像外的其他图像作为参考信息。然而，由于这些参考缺乏标签，可能引入歧义性，我们应用文本信息来过滤噪声特征。此外，我们进一步探索 CLIP 的内在潜力以恢复其局部语义相关性，将其适用于细粒度异常检测任务，以实现更精确的过滤过程。我们的方法在异常检测基准上在异常分类和分割方面表现出优异性能，构建了该方向更强的基线，例如在 MVTec-AD 上，FiSeCLIP 在分割指标 AU-ROC 和 F1-max 上分别比 SOTA AdaCLIP 提升 +4.6% / +5.7%。
引用
@article{arxiv.2507.11003,
title = {Bridge Feature Matching and Cross-Modal Alignment with Mutual-filtering for Zero-shot Anomaly Detection},
author = {Yuhu Bai and Jiangning Zhang and Yunkang Cao and Guangyuan Lu and Qingdong He and Xiangtai Li and Guanzhong Tian},
journal= {arXiv preprint arXiv:2507.11003},
year = {2025}
}