METHOD：用于健康结果发现的模块化高效变换器

近期的变换器架构进展 revolutionized了自然语言处理，但其应用于医疗保健领域存在独特挑战。患者时间线以不规则抽样、可变时间依赖性和复杂情境关系为特征，这些特征与传统语言任务截然不同。本文引入 METHOD（Modular Efficient Transformer for Health Outcome Discovery），一种专为解决临床序列建模在电子健康记录中挑战的变换器架构。METHOD 集成了三个关键创新：（1）患者感知注意力机制，防止信息泄露的同时实现高效批处理；（2）自适应滑动窗口注意力方案，捕获多尺度时间依赖性；（3）受 U-Net 启发的架构，带有动态跳过连接，有效处理长序列。基于MIMIC-IV数据库的评估表明，METHOD 持续优于最先进的 ETHOS 模型，尤其在预测需要紧急临床干预的高危案例方面。METHOD 在不同推断长度下表现稳定，这是临床部署的关键特性，其中患者历史长度差异显著。对所学嵌入的分析表明，METHOD 更好地保留了临床层次结构和医疗概念之间的关系。这些结果表明，METHOD 在为医疗保健应用程序优化的变换器架构方面具有重大进展，提供更准确、临床相关的预测，同时保持计算效率。