基于注意力机制的临床 NLP 用于多疾病预测
计算与语言
2025-07-03 v1
摘要
本文针对电子健康记录文本的非结构化特性和高维语义复杂性提出挑战。提出一种基于注意力机制的深度学习方法，用于实现信息抽取和多标签疾病预测的统一建模。该研究基于 MIMIC-IV 数据集进行。采用基于 Transformer 的架构对临床文本进行表示学习。运用多层自注意力机制捕获关键医学实体及其上下文关系。随后应用基于 Sigmoid 的多标签分类器进行多疾病标签预测。该模型包含一种语境感知的语义对齐机制，增强了其在标签共现和稀疏信息等典型医疗情境下的表征能力。为全面评估模型性能，开展了一系列实验，包括基线比较、超参数敏感性分析、数据扰动研究和噪声注入测试。结果表明，所提方法在多个性能指标上 consistently 优于具有代表性的现有方法。该模型在不同数据规模、干扰水平和模型深度配置下保持强大的泛化能力。该研究构建的框架为处理实际临床文本并为多标签医疗文本建模任务提供了高效的算法基础。
引用
@article{arxiv.2507.01437,
title = {Clinical NLP with Attention-Based Deep Learning for Multi-Disease Prediction},
author = {Ting Xu and Xiaoxiao Deng and Xiandong Meng and Haifeng Yang and Yan Wu},
journal= {arXiv preprint arXiv:2507.01437},
year = {2025}
}