MedM2T：面向电子健康记录和心电图数据的时间感知多模态框架
摘要
医疗数据的内在多模态性和异构时间结构为建模带来了重大挑战。我们提出 MedM2T（MultiModal Modeling for Time-aware data），一个面向解决这些复杂问题的时间感知多模态框架。MedM2T 集成了：（i）稀疏时间序列编码器（Sparse Time Series Encoder）灵活处理不规则和稀疏的时间序列，（ii）层次时间感知融合（Hierarchical Time-Aware Fusion）从多个稠密时间序列（如 ECG）中捕捉微观和宏观时间模式，（iii）双模注意力（Bi-Modal Attention）提取跨模态交互作用，可扩展到任意数量的模态。为缓解不同模态之间的数据细粒度差距，MedM2T 使用各模态-specific 预训练编码器，并在共享编码器中对齐所得特征。我们在 MIMIC-IV 和 MIMIC-IV-ECG 数据集上评估了 MedM2T，用于三个涵盖慢性和急性疾病动力学的任务：90 天心血管疾病（CVD）预测、住院死亡率预测和 ICU 住院时长（LOS）回归。MedM2T 在所有任务中均优于或相当于当前最先进的多模态学习框架和现有时间序列模型，实现了 CVD 预测的 AUROC 为 0.932 和 AUPRC 为 0.670；死亡率预测的 AUROC 为 0.868 和 AUPRC 为 0.470；住院时长回归的平均绝对误差（MAE）为 2.33。这些结果凸显了 MedM2T 的稳健性和广泛适用性，将其定位为临床预测中有前景的工具。我们在 https://github.com/DHLab-TSENG/MedM2T 上提供了 MedM2T 的实现。
引用
@article{arxiv.2510.27321,
title = {MedM2T: A MultiModal Framework for Time-Aware Modeling with Electronic Health Record and Electrocardiogram Data},
author = {Yu-Chen Kuo and Yi-Ju Tseng},
journal= {arXiv preprint arXiv:2510.27321},
year = {2026}
}
备注
This preprint version of the manuscript has been submitted to the IEEE Journal of Biomedical and Health Informatics (JBHI) for review. The implementation of MedM2T is available at https://github.com/DHLab-TSENG/MedM2T