结构与语义上的 EHR 多模态融合：利用超图与 LLM 整合临床记录与文本
机器学习
2024-03-15 v1 人工智能
计算与语言
摘要
近几十年来，电子健康记录（EHR）在支持临床决策和医疗保健方面变得越来越普及。EHR 通常包含异构信息，例如表格形式的结构化数据和文本记录中的非结构化数据。EHR 中不同类型的信息可以相互补充，为患者的健康状况提供更完整的图景。尽管在结构化 EHR 数据的表示学习方面已有大量研究，但不同类型 EHR 数据的融合（多模态融合）尚未得到充分研究。这主要是由于所使用的复杂医学编码系统以及文本记录中存在的噪声和冗余。在这项工作中，我们提出了一个名为 MINGLE 的新框架，该框架有效地整合了 EHR 中的结构和语义。我们的框架使用两级注入策略，将医学概念语义和临床记录语义结合到超图神经网络中，从而学习不同类型数据之间的复杂交互，为下游预测生成就诊表示。在两个 EHR 数据集（公开的 MIMIC-III 和私有的 CRADLE）上的实验结果表明，MINGLE 能够相对有效地将预测性能提高 11.83%，增强了结构化和文本 EHR 数据的语义集成以及多模态融合。
引用
@article{arxiv.2403.08818,
title = {Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM},
author = {Hejie Cui and Xinyu Fang and Ran Xu and Xuan Kan and Joyce C. Ho and Carl Yang},
journal= {arXiv preprint arXiv:2403.08818},
year = {2024}
}