CLIP-Lung：文本知识引导的肺结节恶性预测
计算机视觉与模式识别
2023-10-03 v1
摘要
先进的深度学习技术与有效技巧已提升了肺结节恶性预测的性能。然而，现有方法主要使用独热类别标签以交叉熵损失进行训练，导致难以区分进展标签较为接近的那些结节。有趣的是，我们观察到放射科医生标注的临床文本信息为我们提供了识别困难样本的判别性知识。借鉴对比语言-图像预训练（CLIP）模型从文本标注中学习广义视觉表征的能力，本文提出 CLIP-Lung，一种文本知识引导的肺结节恶性预测框架。首先，CLIP-Lung 在推理无任何额外开销的情况下，将类别与属性标注同时引入肺结节分类器的训练。其次，我们设计了一个通道级条件提示（CCP）模块，以在学习型上下文提示与特定特征图之间建立一致关系。第三，我们通过对比学习将图像特征与类别及属性特征对齐，在潜空间中纠正假阳性与假阴性。在基准 LIDC-IDRI 数据集上的实验结果证明了 CLIP-Lung 在分类性能与注意力图可解释性两方面的优越性。
引用
@article{arxiv.2304.08013,
title = {CLIP-Lung: Textual Knowledge-Guided Lung Nodule Malignancy Prediction},
author = {Yiming Lei and Zilong Li and Yan Shen and Junping Zhang and Hongming Shan},
journal= {arXiv preprint arXiv:2304.08013},
year = {2023}
}