MEDFuse：基于掩码实验室检验建模和大语言模型的多模态 EHR 数据融合
计算与语言
2024-07-18 v1
摘要
电子健康记录（EHR）本质上具有多模态特征，包含类似实验室检验的结构化表格特征以及非结构化的临床笔记。在真实临床实践中，医生会使用补充的多模态 EHR 数据来源，以更清晰地了解患者的健康状况并支持临床决策。然而，大多数 EHR 预测模型并未反映这些程序，因它们要么专注于单一模态，要么忽略了跨模态的相互作用/冗余性。本文提出了 MEDFuse，一个集成掩码实验室检验建模和大语言模型（LLM）的多模态 EHR 数据融合框架，以有效整合结构化和非结构化医疗数据。MEDFuse 利用来自两个数据源的多模态嵌入：针对免费临床文本微调的大语言模型，以及在结构化实验室检验结果上训练的掩码表格变换器。我们设计了一个解耦变换器模块，通过相互信息损失进行优化，以 1）解耦模态特定信息和模态共享信息，以及 2）从临床笔记中存在的噪声和冗余性中提取有用的联合表示。通过在公开的 MIMIC-III 数据集和内部的 FEMH 数据集上的全面验证，MEDFuse 在 10 疾病多标签分类任务中实现了超过 90% 的 F1 分数，显示出在推进临床预测方面具有巨大的潜力。
引用
@article{arxiv.2407.12309,
title = {MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models},
author = {Thao Minh Nguyen Phan and Cong-Tinh Dao and Chenwei Wu and Jian-Zhe Wang and Shun Liu and Jun-En Ding and David Restrepo and Feng Liu and Fang-Ming Hung and Wen-Chih Peng},
journal= {arXiv preprint arXiv:2407.12309},
year = {2024}
}