面向医疗领域的零/少样本异常检测的实例感知查询嵌入 IQE-CLIP
计算机视觉与模式识别
2025-06-23 v3
摘要
最近，视觉语言模型如 CLIP 的快速进步导致了在零/少样本异常检测(ZFSAD)任务中取得显著进展。然而，大多数现有的 CLIP-based ZFSAD 方法通常假设类别先验知识，依赖于针对特定场景精心设计的提示。虽然这些精心设计的文本提示有效地捕获了文本空间中的语义信息，但在联合嵌入空间中不足以区分正常与异常实例。此外，这些 ZFSAD 方法主要在工业场景中探索，针对医疗任务的努力寥寥无几。为此，我们提出了一个用于医疗领域 ZFSAD 任务的创新框架，称为 IQE-CLIP。我们揭示了包含文本和实例感知视觉信息的查询嵌入是异常性更好的指示器。具体而言，我们首先引入基于类的提示标记和可学习的提示标记，以更好地适应 CLIP 的医疗领域。随后，我们设计了一个实例感知查询模块(IQM)，从文本提示和视觉特征中提取区域级别的上下文信息，从而生成对异常更敏感的查询嵌入。在六个医疗数据集上进行的大量实验表明，IQE-CLIP 在零样本和少样本任务上均实现了最先进的性能。我们在 https://github.com/hongh0/IQE-CLIP/ 上发布了代码和数据。
引用
@article{arxiv.2506.10730,
title = {IQE-CLIP: Instance-aware Query Embedding for Zero-/Few-shot Anomaly Detection in Medical Domain},
author = {Hong Huang and Weixiang Sun and Zhijian Wu and Jingwen Niu and Donghuan Lu and Xian Wu and Yefeng Zheng},
journal= {arXiv preprint arXiv:2506.10730},
year = {2025}
}