MediCLIP：适用于 few-shot 医学图像异常检测的 CLIP 模型
计算机视觉与模式识别
2024-05-21 v1
摘要
在医学决策领域，精确的医学图像异常检测在辅助临床医生方发挥着关键作用。然而，先前的工作依赖于大规模数据集进行训练，增加了开发成本。本文首先聚焦于在 few-shot 设置下进行医学图像异常检测，这在数据收集和标注成本极高的医疗领域中具有至关重要的意义。我们提出一种新颖的方法，即 MediCLIP，通过自监督微调适应 CLIP 模型以实现 few-shot 医学图像异常检测。尽管 CLIP 作为一种视觉语言模型，在各种下游任务上表现出卓越的 zero-/few-shot 性能，但在医学图像异常检测方面仍显不足。为此，我们设计了一系列医学图像异常合成任务，以模拟医学影像中常见的疾病模式，将 CLIP 的强大泛化能力迁移到医学图像异常检测任务中。当仅提供少量正常医学图像时，MediCLIP 在异常检测和定位方面相较于其他方法实现了最先进的性能。在三个不同的医学异常检测任务上的大量实验表明了我们方法的优越性。代码已公开于 https://github.com/cnulab/MediCLIP。
关键词
引用
@article{arxiv.2405.11315,
title = {MediCLIP: Adapting CLIP for Few-shot Medical Image Anomaly Detection},
author = {Ximiao Zhang and Min Xu and Dehui Qiu and Ruixin Yan and Ning Lang and Xiuzhuang Zhou},
journal= {arXiv preprint arXiv:2405.11315},
year = {2024}
}
备注
12 pages, 3 figures, 5 tables, early accepted at MICCAI 2024