U-GAT：用于COVID-19预后预测的多模态图注意力网络
计算机视觉与模式识别
2021-08-03 v1 机器学习
图像与视频处理
摘要
在COVID-19第一波疫情期间，医院因大量收治患者而不堪重负。准确预测最可能的个体疾病进展可改善有限资源的规划并为患者寻找最优治疗。然而，面对COVID-19这类新发疾病，患者与疾病特异性因素（如体重或已知合并症）对 immediate 病程的影响在很大程度上未知。就COVID-19而言，肺炎患者是否需要重症监护病房(ICU)入院通常仅由呼吸频率、血氧水平等急性指标决定，而整合所有可用数据的统计分析与决策支持系统可实现更早预后。为此，我们提出一种结合影像与非影像信息的整体基于图的方法。具体而言，我们引入多模态相似性度量构建群体图以聚类患者，并采用基于图像的端到端图注意力网络处理该图并预测COVID-19患者预后：ICU入院、需通气与死亡。此外，该网络将胸部CT图像分割作为辅助任务，并提取图像特征与放射组学以与可用元数据融合。在德国慕尼黑Klinikum rechts der Isar收集的数据集上的结果表明，我们的方法优于单模态和非图基线。而且，我们的聚类和图注意力增进了对群体图内患者关系的理解，并提供了对网络决策过程的洞察。
引用
@article{arxiv.2108.00860,
title = {U-GAT: Multimodal Graph Attention Network for COVID-19 Outcome Prediction},
author = {Matthias Keicher and Hendrik Burwinkel and David Bani-Harouni and Magdalini Paschali and Tobias Czempiel and Egon Burian and Marcus R. Makowski and Rickmer Braren and Nassir Navab and Thomas Wendler},
journal= {arXiv preprint arXiv:2108.00860},
year = {2021}
}
备注
18 pages, 5 figures, submitted to Medical Image Analysis