面向视觉异常检测的人类免费自动化提示优化：基于元引导提示方案的提示优化
计算机视觉与模式识别
2024-09-12 v4
摘要
预训练视觉语言模型 (VLM) 能够通过少量样本学习适应各种下游任务，使基于提示的异常检测成为一个有前景的方向。传统方法依赖于人工编写的提示，要求对特定异常类型具有先验知识。我们的目标是开发一个无需人工干预的人类免费基于提示的异常检测框架，通过数据驱动方法优化提示，从而消除对人类介入的需求。该方法的主要挑战在于训练阶段缺乏异常样本。此外，VLM 中的基于视觉转换器 (ViT) 的图像编码器不适合用于像素级异常分割，因为原始图像与输出特征图之间的局部特征不匹配。为解决第一个挑战，我们 developed 了对象注意力异常生成模块 (OAGM) 来合成训练用的异常样本。此外，我们提出了元引导提示微调方案 (MPTS)，迭代调整可学习提示的梯度优化方向，以避免对合成异常样本的过拟合。为解决第二个挑战，我们提出了局部感知注意力机制，确保每个局部 patch 特征只关注附近的 patch 特征，从而保留其原始位置对应的局部特征。该框架允许通过反向传播在连续潜在空间中搜索最优提示嵌入，完全摆脱人类语义约束。此外，修改后的局部感知注意力提高了像素级异常分割的精度。
引用
@article{arxiv.2406.18197,
title = {Human-Free Automated Prompting for Vision-Language Anomaly Detection: Prompt Optimization with Meta-guiding Prompt Scheme},
author = {Pi-Wei Chen and Jerry Chun-Wei Lin and Jia Ji and Feng-Hao Yeh and Zih-Ching Chen and Chao-Chun Chen},
journal= {arXiv preprint arXiv:2406.18197},
year = {2024}
}