基于 CNN-LSTM 的多模态 MRI 与临床数据融合用于预测卒中患者功能预后
图像与视频处理
2022-05-12 v1 计算机视觉与模式识别
机器学习
摘要
临床预后预测在卒中患者管理中起着重要作用。从机器学习的角度来看，主要挑战之一是在患者入院时处理异构数据，即多维的图像数据与标量的临床数据。本文提出了一种基于多模态卷积神经网络-长短期记忆 (CNN-LSTM) 的集成模型。对于每个 MR 图像模块，一个专用网络利用改良 Rankin 量表 (mRS) 对临床预后进行初步预测。最终的 mRS 评分通过合并各专用于特定类型 MR 图像的模块的初步概率得到，并以临床元数据（此处为年龄或美国国立卫生研究院卒中量表 (NIHSS)）加权。实验结果表明，所提模型超越了基线方法，并提供了一种在深度学习架构中自动编码 MR 图像时空上下文的新途径。所提模型结合 NIHSS 取得了最高 AUC (0.77)。
引用
@article{arxiv.2205.05545,
title = {CNN-LSTM Based Multimodal MRI and Clinical Data Fusion for Predicting Functional Outcome in Stroke Patients},
author = {Nima Hatami and Tae-Hee Cho and Laura Mechtouff and Omer Faruk Eker and David Rousseau and Carole Frindel},
journal= {arXiv preprint arXiv:2205.05545},
year = {2022}
}
备注
44th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC 2022)