MaxCorrMGNN：一种用于医学数据广义多模态融合与结局预测的多元图神经网络框架
机器学习
2023-07-17 v1 信号处理
摘要
随着多模态电子健康记录的出现，某一结局的证据可能跨越从临床到影像及基因组数据的多种模态。有效预测结局需要能够建模患者内部及患者之间模态特征细粒度、多方面复杂交互的融合框架。我们提出了一种名为 MaxCorr MGNN 的创新融合方法，通过 Hirschfeld-Gebelein-Renyi 最大相关（MaxCorr）嵌入来建模患者内部及患者之间的非线性模态相关性，从而构建一个保留模态与患者身份的多层图。随后，我们首次设计了一种广义多层图神经网络（MGNN），用于多层图中的任务驱动推理，该网络以端到端方式学习定义患者-模态图连接性与消息传递的参数。我们在一个结核病（TB）数据集的结局预测任务上评估了我们的模型，其持续优于多种最先进的神经、基于图及传统融合技术。
引用
@article{arxiv.2307.07093,
title = {MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized Multimodal Fusion of Medical Data for Outcome Prediction},
author = {Niharika S. D'Souza and Hongzhi Wang and Andrea Giovannini and Antonio Foncubierta-Rodriguez and Kristen L. Beck and Orest Boyko and Tanveer Syeda-Mahmood},
journal= {arXiv preprint arXiv:2307.07093},
year = {2023}
}
备注
To appear in ML4MHD workshop at ICML 2023