EHRMamba：面向电子健康记录的通用且可扩展的基础模型

Transformer 在电子健康记录（EHR）建模方面取得了显著进展，但受限于以下关键挑战难以在实际医疗环境中部署：其二次计算成本和不足的上下文长度限制了医院处理 EHR 数据中典型性极其庞大的病史的能力。此外，现有模型为每个临床任务采用独立的微调，导致医疗环境中的维护复杂化。另外，这些模型要么专注于临床预测，要么专注于 EHR 预测，难以同时具备两者的能力。为此，我们引入 EHRMamba——一个基于 Mamba 架构构建的健壮基础模型。EHRMamba 由于其线性计算复杂度，可处理的长度是以前模型的 300%。我们还提出了一种新颖的多任务提示微调（MPF）方法，使 EHRMamba 能够在单一微调阶段同时学习多个临床任务，显著提升部署性和跨任务泛化能力。此外，该模型利用 HL7 FHIR 数据标准以简化集成到现有医院系统。随同 EHRManny 我们开源了 Odyssey——一个旨在支持 EHR 基础模型开发与部署的工具包，强调数据标准化和可解释性。在 MIMIC-IV 数据集上的评估表明，EHRManny 在 6 项主要临床任务上均实现了领先的性能，并在 EHR 预测任务中表现卓越，为该领域带来了显著的进步。