以指征作为先验知识的 Transformer 多模态胸片疾病分类
计算机视觉与模式识别
2022-02-15 v1 机器学习
摘要
当临床医生为患者申请影像检查时，会在检查申请中写明原因（如相关病史、疑似疾病），该原因在放射报告中以指征(indication)字段呈现。影像的解读与报告撰写受该申请文本显著影响，引导放射科医生关注图像的特定方面。我们利用指征字段来驱动更好的图像分类：采用在文本上单模态预训练的 Transformer 网络(BERT)，并将其微调用于图像-文本双输入的多模态分类。我们在 MIMIC-CXR 数据集上评估该方法，并给出消融实验以研究指征字段对分类性能的影响。实验结果表明，我们的方法取得了 87.8 的平均微观 AUROC，优于单模态(84.4)与多模态(86.0)分类的现有最优方法。我们的代码见 https://github.com/jacenkow/mmbt。
引用
@article{arxiv.2202.06076,
title = {Indication as Prior Knowledge for Multimodal Disease Classification in Chest Radiographs with Transformers},
author = {Grzegorz Jacenków and Alison Q. O'Neil and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2202.06076},
year = {2022}
}
备注
Accepted at the IEEE International Symposium on Biomedical Imaging (ISBI) 2022 as an oral presentation