MDF-Net:融合 X 射线与临床数据用于异常检测
图像与视频处理
2023-12-29 v3 计算机视觉与模式识别
机器学习
摘要
本研究探讨了在胸部 X 射线图像中纳入患者临床信息对深度学习(DL)疾病定位分类器性能的影响。尽管当前分类器仅使用胸部 X 射线图像即可达到高性能,我们对放射科医生的访谈表明临床数据对解读图像和做出正确诊断极具信息量且必不可少。本工作中,我们提出一种由两种融合方法组成的新颖架构,使模型能够同时处理患者临床数据(结构化数据)和胸部 X 射线(图像数据)。由于这些数据模态处于不同维度空间,我们提出一种空间排布策略 spatialization,以在 Mask R-CNN 模型中促进多模态学习过程。我们使用 MIMIC-Eye(一个包含以下模态的数据集:MIMIC-CXR(胸部 X 射线图像)、MIMIC IV-ED(患者临床数据)和 REFLACX(胸部 X 射线中疾病位置的标注))进行了广泛的实验评估。结果表明,在 DL 模型中结合患者临床数据及所提融合方法,相比仅使用胸部 X 射线的标准 Mask R-CNN,在平均精度(Average Precision)上使胸部 X 射线疾病定位提升 12%。进一步的消融研究也强调了多模态 DL 架构及纳入患者临床数据在疾病定位中的重要性。本工作提出的架构已公开以促进我们研究的可重复性(https://github.com/ChihchengHsieh/multimodal-abnormalities-detection)。
引用
@article{arxiv.2302.13390,
title = {MDF-Net for abnormality detection by fusing X-rays with clinical data},
author = {Chihcheng Hsieh and Isabel Blanco Nobre and Sandra Costa Sousa and Chun Ouyang and Margot Brereton and Jacinto C. Nascimento and Joaquim Jorge and Catarina Moreira},
journal= {arXiv preprint arXiv:2302.13390},
year = {2023}
}