基于自适应 Transformer 层融合的 ICU 入院死亡率预测
机器学习
2025-06-09 v2
摘要
及早识别高风险 ICU 患者对于指导有限的医疗资源至关重要。我们引入 ALFIA（Adaptive Layer Fusion with Intelligent Attention），一种模块化的基于注意力的体系结构，联合训练 LoRA（Low-Rank Adaptation）适配器和自适应层权重机制，以融合 BERT 主干网络中的多层语义特征。在我们的严格的 cw-24（CriticalWindow-24）基准数据集上训练，ALFIA 在 AUPRC 上超越了最新的表格分类器，同时保持平衡的精确率-召回率轮廓。ALFIA 融合模块产生的嵌入捕获了细粒度的临床线索和高层次概念，能够无缝与 GBDTs（CatBoost/LightGBM）配对作为 ALFIA-boost，或与深度神经网络配对作为 ALFIA-nn，从而获得额外的性能提升。我们的实验确认 ALFIA 在早期预警方面具有优势；它直接处理常规临床文本，为临床医生提供了一个便利且稳健的工具，用于危重症病情风险分层和及时干预。
引用
@article{arxiv.2506.04924,
title = {Predicting ICU In-Hospital Mortality Using Adaptive Transformer Layer Fusion},
author = {Han Wang and Ruoyun He and Guoguang Lao and Ting Liu and Hejiao Luo and Changqi Qin and Hongying Luo and Junmin Huang and Zihan Wei and Lu Chen and Yongzhi Xu and Ziqian Bi and Junhao Song and Tianyang Wang and Chia Xin Liang and Xinyuan Song and Huafeng Liu and Junfeng Hao and Chunjie Tian},
journal= {arXiv preprint arXiv:2506.04924},
year = {2025}
}
备注
21 pages, 6 figures