用于胸部X光异常检测的位置引导提示学习
计算机视觉与模式识别
2024-06-21 v2
摘要
胸部X光异常检测是一项关键任务。大多数方法主要对正常图像的分布进行建模，然后将偏离正常分布的显著偏差视为异常。最近，基于 CLIP 的方法在大量医学图像上进行了预训练，在零样本/少样本下游任务中展现出令人印象深刻的性能。在本文中，我们旨在探索基于 CLIP 的方法在胸部X光异常检测中的潜力。考虑到 CLIP 预训练数据与特定任务数据之间的差异，我们提出了一种位置引导的提示学习方法。具体而言，受专家通过仔细检查不同肺部区域来诊断胸部X光的启发，我们提出了可学习的位置引导文本和图像提示，以将任务数据适配到冻结的预训练基于 CLIP 的模型。为了增强模型的判别能力，我们在训练过程中提出了一种新颖的胸部X光结构保持异常合成方法。在三个数据集上的大量实验表明，我们提出的方法优于一些 state-of-the-art 方法。我们实现的代码可在 https://github.com/sunzc-sunny/PPAD 获取。
引用
@article{arxiv.2405.11976,
title = {Position-Guided Prompt Learning for Anomaly Detection in Chest X-Rays},
author = {Zhichao Sun and Yuliang Gu and Yepeng Liu and Zerui Zhang and Zhou Zhao and Yongchao Xu},
journal= {arXiv preprint arXiv:2405.11976},
year = {2024}
}
备注
MICCAI 2024 Early Accept