探索零样本 CLIP 在间质性肺疾病分类中的通用性
计算机视觉与模式识别
2023-09-14 v2
摘要
间质性肺疾病（ILD）因其多样表现与重叠影像特征而具诊断挑战。为此，我们提出一种利用 CLIP（一种多模态（图像与文本）自监督模型）进行 ILD 分类的机器学习方法。我们在整个工作流中广泛集成零样本 CLIP，从体 CT 扫描中初始提取图像块开始，到使用“块拼贴”进行 ILD 分类。此外，我们探究以任务特定图像（用 ILD 特定提示为 CLIP 提取的 CT“块拼贴”）和/或文本（放射报告的肺特定部分）进行域自适应预训练（DAPT）如何影响下游 ILD 分类性能。通过利用 CLIP 提取的“块拼贴”与 DAPT，我们在无需任何标注训练数据的情况下取得强劲的零样本 ILD 分类结果，包括 0.893 的 AUROC。本工作凸显了 CLIP 等多模态模型在标注数据稀缺的医学图像分类任务中的通用性与潜力。
引用
@article{arxiv.2306.01111,
title = {Exploring the Versatility of Zero-Shot CLIP for Interstitial Lung Disease Classification},
author = {Cara Van Uden and Christian Bluethgen and Maayane Attias and Malgorzata Polacin and Haiwei Henry Guo and Neha Simha and Rishi Raj and Curtis Langlotz},
journal= {arXiv preprint arXiv:2306.01111},
year = {2023}
}
备注
11 pages, 11 figures