EMERGE：利用检索增强生成增强多模态电子健康记录预测建模
计算与语言
2025-02-27 v2 人工智能
机器学习
摘要
多模态电子健康记录数据的集成显著推进了临床预测能力。现有模型利用临床笔记和多变量时间序列电子健康记录数据，但往往未能纳入准确临床任务所必需的医学背景，而先前使用知识图谱的方法主要侧重于结构化知识提取。为此，我们提出了EMERGE，一个由检索增强生成驱动的框架，用于增强多模态电子健康记录预测建模。我们通过提示大型语言模型从时间序列数据和临床笔记中提取实体，并将其与专业的PrimeKG对齐，确保一致性。除了三元组关系，我们还纳入了实体的定义和描述以获取更丰富的语义。然后，提取的知识被用于生成与任务相关的患者健康状况摘要。最后，我们使用带有交叉注意力的自适应多模态融合网络将摘要与其他模态融合。在MIMIC-III和MIMIC-IV数据集上的院内死亡率和30天再入院任务上的大量实验表明，EMERGE框架的性能优于基线模型。全面的消融研究和分析突出了每个设计模块的有效性以及对数据稀疏性的鲁棒性。EMERGE有助于完善多模态电子健康记录数据在医疗保健中的利用，弥合了与知情临床预测所必需的细微医学背景之间的差距。我们已在https://github.com/yhzhu99/EMERGE公开发布了代码。
引用
@article{arxiv.2406.00036,
title = {EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation},
author = {Yinghao Zhu and Changyu Ren and Zixiang Wang and Xiaochen Zheng and Shiyun Xie and Junlan Feng and Xi Zhu and Zhoujun Li and Liantao Ma and Chengwei Pan},
journal= {arXiv preprint arXiv:2406.00036},
year = {2025}
}
备注
CIKM 2024 Full Research Paper; arXiv admin note: text overlap with arXiv:2402.07016