HyMaTE：面向电子健康记录表示学习的混合Mamba与Transformer模型
机器学习
2025-09-30 v1
摘要
电子健康记录（EHR）已成为现代医疗保健的基石。它们是分析患者健康进程的关键因素；然而，其复杂性——表现为长时间序列、多变量序列、稀疏性和缺失值——构成了传统深度学习建模的重大挑战。虽然Transformer-based模型在建模EHR数据和预测临床结果方面取得了成功，但其二次计算复杂度和有限的上下文长度阻碍了其效率和实际应用。另一方面，状态空间模型（SSM）如Mamba提供了线性时间序列建模和处理长序列的潜在优势，但主要侧重于混合序列级信息，而非通道级数据。为克服这些挑战，我们提出HyMaTE（面向EHR表示学习的混合Mamba与Transformer模型），一种为表示纵向数据而设计的新型混合模型，结合了SSM的优势与先进的注意力机制。通过在多个临床数据集上的预测任务测试，我们展示HyMaTE能够捕获有效、丰富且更细致的统一EHR数据表示。此外，基于自注意力的解释性结果彰显了该模型作为面向实际医疗保健应用的可扩展且通用解决方案的有效性。代码已公开：https://github.com/healthylaife/HyMaTE。
引用
@article{arxiv.2509.24118,
title = {HyMaTE: A Hybrid Mamba and Transformer Model for EHR Representation Learning},
author = {Md Mozaharul Mottalib and Thao-Ly T. Phan and Rahmatollah Beheshti},
journal= {arXiv preprint arXiv:2509.24118},
year = {2025}
}