REALM：基于 RAG 的大语言模型驱动的多模态电子健康记录分析增强框架
人工智能
2024-02-13 v1
摘要
多模态电子健康记录（EHR）数据的整合显著提升了临床预测能力。现有模型利用临床笔记和多变量时间序列 EHR，但往往缺乏与临床任务相关的医学背景，这促使了外部知识的引入，特别是来自知识图谱（KG）的知识。以往利用 KG 知识的方法主要侧重于结构化知识提取，忽略了非结构化数据模态和语义高维医学知识。为此，我们提出了 REALM，一个基于检索增强生成（RAG）驱动的框架，用于增强多模态 EHR 表示，以解决这些局限性。首先，我们应用大语言模型（LLM）对长文本临床笔记进行编码，并使用 GRU 模型对时间序列 EHR 数据进行编码。其次，我们提示 LLM 提取与任务相关的医学实体，并将这些实体与经过专业标注的外部知识图谱（PrimeKG）中的相应医学知识进行匹配。通过匹配并与临床标准对齐，我们的框架消除了幻觉并确保了一致性。最后，我们提出了一种自适应多模态融合网络，将提取的知识与多模态 EHR 数据相整合。我们在 MIMIC-III 死亡率和再入院任务上的大量实验表明，我们的 REALM 框架性能优于基线模型，突显了每个模块的有效性。REALM 框架有助于优化多模态 EHR 数据在医疗保健中的应用，并弥合了与做出明智临床预测所必需的细微医学背景之间的差距。
引用
@article{arxiv.2402.07016,
title = {REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models},
author = {Yinghao Zhu and Changyu Ren and Shiyun Xie and Shukai Liu and Hangyuan Ji and Zixiang Wang and Tao Sun and Long He and Zhoujun Li and Xi Zhu and Chengwei Pan},
journal= {arXiv preprint arXiv:2402.07016},
year = {2024}
}