面向多模态电子健康记录嵌入的Cross-Attentional Autoregressive Transformer
机器学习
2026-02-18 v2
摘要
电子健康记录(EHR)包含跨结构化(如实验室、生命体征和影像)和非结构化(如临床报告)模态的丰富、连续性患者信息。虽然RNN和Transformer等深度学习模型已推动单模态和多模态EHR分析，但现有方法通常针对特定下游任务进行优化，忽视了创建可跨多个任务重用的通用患者表征的需求。为此，我们提出CAAT-EHR，一种新的Cross-Attentional Autoregressive Transformer架构，产生任务无关的、连续性的多模态EHR嵌入。在CAAT-EHR中，自注意力层捕获每个模态内的时间依赖性，而交叉注意力层融合跨模态的信息以建模复杂的相互关系。在预训练期间，一个自回归解码器从融合嵌入预测未来时间步，强制时间一致性并丰富编码器输出。训练完成后，编码器alone即可生成可直接应用于多种预测任务的通用多模态EHR嵌入。CAAT-EHR在基准EHR数据集上进行了显著改进，包括死亡率预测、ICU住院天数估计和阿尔茨海默病诊断预测。在所有三个下游任务中，12个比较中有11个在F1分数和AUC上使用CAAT-EHR生成的EHR嵌入的模型在原始EHR数据上训练的模型表现更好。消融研究确认了跨模态融合和自回归细化的关键作用。总体而言，CAAT-EHR为学习通用、连续性的多模态EHR表征提供了统一框架，支持更可靠的临床决策支持系统。
引用
@article{arxiv.2501.18891,
title = {CAAT-EHR: Cross-Attentional Autoregressive Transformer for Multimodal Electronic Health Record Embeddings},
author = {Mohammad Al Olaimat and Shaika Chowdhury and Serdar Bozdag},
journal= {arXiv preprint arXiv:2501.18891},
year = {2026}
}