PE-MVCNet：用于肺栓塞预测的多视图与跨模态融合网络
图像与视频处理
2024-04-18 v3 计算机视觉与模式识别
摘要
肺栓塞 (PE) 的早期检测对于提高患者生存率至关重要。在医学分类任务中，基于图像的特征和非基于图像的特征都极为重要。在临床环境中，医生倾向于依赖电子病历 (EMR) 提供的上下文信息来解读医学影像。然而，很少有模型能有效整合临床信息与成像数据。为解决这一不足，我们提出了一种名为 PE-MVCNet 的多模态融合方法，该方法利用计算机断层扫描肺动脉造影成像和 EMR 数据。该方法包括集成多视图块的纯图像模块、纯 EMR 模块以及跨模态注意力融合 (CMAF) 模块。这些模块协同工作以提取综合特征，随后生成 PE 预测。我们使用公开可用的斯坦福大学医学中心数据集进行了实验，实现了 94.1% 的 AUROC、90.2% 的准确率和 90.6% 的 F1 分数。我们提出的模型优于现有方法，证实了我们的多模态融合模型相较于使用单一数据模态的模型表现卓越。我们的源代码可在 https://github.com/LeavingStarW/PE-MVCNET 获取。
引用
@article{arxiv.2402.17187,
title = {PE-MVCNet: Multi-view and Cross-modal Fusion Network for Pulmonary Embolism Prediction},
author = {Zhaoxin Guo and Zhipeng Wang and Ruiquan Ge and Jianxun Yu and Feiwei Qin and Yuan Tian and Yuqing Peng and Yonghong Li and Changmiao Wang},
journal= {arXiv preprint arXiv:2402.17187},
year = {2024}
}