Lung-CADex：基于大型视觉语言模型的肺结节零样检测与分类
图像与视频处理
2024-07-04 v1 计算机视觉与模式识别
机器学习
摘要
肺癌已是数十年来人类生命面临的主要威胁之一。计算机辅助诊断有助于早期肺结节检测并促进后续结节特征化。大型视觉语言模型(VLM)被发现对依赖图像和文本数据的多个下游医疗任务有效。然而，尚未探索使用 VLM 进行 lesion 水平检测和后续诊断。我们提出了 CADe，用于以零样本方式对肺结节进行分割，采用一种称为 MedSAM 的 Segment Anything Model 的变体。CADe 通过 prefix 调谐使用 CLIP 文本编码器在输入计算断层扫描(CT) 扫描上训练。我们还提出了 CADx，用于将结节特征化为良性/恶性，通过构建放射组学特征库并通过对比学习对齐图像-特征对。CADe 和 CADx 的训练和验证使用了最大公开数据集之一，即 LIDC。为检查模型的泛化能力，还在具有挑战性的数据集 LUNGx 上进行评估。我们的实验结果表明，所提出的方法在灵敏度上达到 0.86，优于其他全监督方法的 0.76。源代码、数据集和预处理数据可通过链接访问。
引用
@article{arxiv.2407.02625,
title = {Lung-CADex: Fully automatic Zero-Shot Detection and Classification of Lung Nodules in Thoracic CT Images},
author = {Furqan Shaukat and Syed Muhammad Anwar and Abhijeet Parida and Van Khanh Lam and Marius George Linguraru and Mubarak Shah},
journal= {arXiv preprint arXiv:2407.02625},
year = {2024}
}