基于知识增强的胸部放射影像视觉-语言预训练
计算机视觉与模式识别
2023-06-16 v3
摘要
尽管在多模态基础模型于大规模数据上预训练已在自然语言理解和视觉识别中取得成功，但由于医学任务的细粒度特性以及对领域知识的高需求，它们在医学领域的应用仍受限。为应对此挑战，我们提出一种称为知识增强自动诊断（KAD）的新方法，其利用现有医学领域知识，通过配对的胸部 X 光片和放射报告来引导视觉-语言预训练。我们在四个外部 X 光数据集上评估 KAD，证明其零样本性能不仅可与全监督模型相媲美，且在统计显著意义上对五类病症中的三类优于三位放射科专家的平均水平。此外，在少样本标注可用时，KAD 在微调设置下优于所有现有方法，展示了其在不同临床场景中应用的潜力。
引用
@article{arxiv.2302.14042,
title = {Knowledge-enhanced Visual-Language Pre-training on Chest Radiology Images},
author = {Xiaoman Zhang and Chaoyi Wu and Ya Zhang and Yanfeng Wang and Weidi Xie},
journal= {arXiv preprint arXiv:2302.14042},
year = {2023}
}