基于规模感知训练的双向多模态提示学习：面向少样本多类异常检测
计算机视觉与模式识别
2026-03-31 v2 人工智能
摘要
少样本多类异常检测在实际工业场景中至关重要，仅有少量正常样本却需检查众多物件类型。此设置具有挑战性，因为缺陷模式在不同类别间差异巨大，而正常样本却稀缺。现有的基于视觉语言模型的方法通常依赖类别特定的异常描述或辅助模块，限制了可扩展性和计算效率。本文提出 AnoPLe，一个轻量级多模态提示学习框架，消除对异常类型文本描述的依赖，无需任何外部模块。AnoPLe 采用文本与视觉提示之间的双向交互，使类别语义和实例级线索能够相互校准，形成捕捉跨类别共享正常模式的类别条件表示。为提升局部化能力，我们设计了在全局和局部视角上进行训练的规模感知前缀前缀，使提示能够捕获全局上下文和细粒度细节。此外，对齐损失将局部异常证据传递到全局特征，强化像素级与图像级预测之间的一致性。尽管方法简单，AnoPLe 在 MVTec-AD、VisA 和 Real-IAD 上的少样本多类设置下均取得优异性能，超越了先前方法，同时保持高效，无需专家构建的异常描述。此外，AnoPLe 对未见异常具有良好泛化性，并能有效扩展到医疗领域。
引用
@article{arxiv.2408.13516,
title = {Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection},
author = {Yujin Lee and Sewon Kim and Daeun Moon and Seoyoon Jang and Hyunsoo Yoon},
journal= {arXiv preprint arXiv:2408.13516},
year = {2026}
}
备注
accepted to CVPR 2026