基于统一多模态数据嵌入与模态感知注意力学习缺失模态电子健康记录
机器学习
2023-05-05 v1
摘要
电子健康记录（EHR）通过多种模态提供丰富信息。然而，学习多模态EHR目前面临两大挑战，即1）数据嵌入与2）缺失模态案例。缺乏跨模态的共享嵌入函数会丢弃不同EHR模态间的时间关系。另一方面，大多数EHR研究仅限于仅依赖EHR时间序列，因此EHR中的缺失模态尚未得到充分探索。因此，在本研究中，我们引入统一多模态集合嵌入（UMSE）与带跳跃瓶颈（SB）的模态感知注意力（MAA）。UMSE无需单独的插补模块或易出错的向前填充即可处理所有EHR模态，而带SB的MAA通过有效的模态感知注意力学习缺失模态EHR。我们的模型在MIMIC-IV数据集的死亡率、血管升压药需求与插管需求预测上优于其他基线模型。
引用
@article{arxiv.2305.02504,
title = {Learning Missing Modal Electronic Health Records with Unified Multi-modal Data Embedding and Modality-Aware Attention},
author = {Kwanhyung Lee and Soojeong Lee and Sangchul Hahn and Heejung Hyun and Edward Choi and Byungeun Ahn and Joohyung Lee},
journal= {arXiv preprint arXiv:2305.02504},
year = {2023}
}
备注
MLHC 2023, Under Review