通过从 X 射线专家模型蒸馏知识引导胸部 CT 图像理解
计算机视觉与模式识别
2024-04-09 v1
摘要
放射科医生非常渴望用于医学影像解释的全自动通用人工智能。然而，缺乏大规模标注的多疾病数据集阻碍了这一目标的实现。在本文中，我们探索了利用语言作为胸部 CT 成像的天然高质量监督的可行性。鉴于图像-报告对的可用性有限，我们通过从经过广泛预训练的 2D X 射线专家模型中提取胸部相关诊断知识，来引导 3D 胸部 CT 图像的理解。具体而言，我们提出了一种语言引导的检索方法，将每张 3D CT 图像与其语义最接近的 2D X 射线图像进行匹配，并执行成对和语义关系的知识蒸馏。随后，我们使用对比学习对齐同一患者内的图像和报告，同时将其与其他患者区分开来。然而，当患者具有相似的语义诊断（例如健康患者）时，如果将其视为负样本，会产生混淆的挑战。我们引入了一种鲁棒的对比学习，能够识别并纠正这些假负样本。我们使用超过 12,000 对胸部 CT 图像和放射学报告训练了我们的模型。在多种场景下的广泛实验，包括零样本学习、报告生成和微调过程，证明了该模型在解释胸部 CT 图像方面的可行性。
引用
@article{arxiv.2404.04936,
title = {Bootstrapping Chest CT Image Understanding by Distilling Knowledge from X-ray Expert Models},
author = {Weiwei Cao and Jianpeng Zhang and Yingda Xia and Tony C. W. Mok and Zi Li and Xianghua Ye and Le Lu and Jian Zheng and Yuxing Tang and Ling Zhang},
journal= {arXiv preprint arXiv:2404.04936},
year = {2024}
}
备注
Accepted by CVPR 2024