关注与诊断：基于注意力模型的临床时间序列分析
机器学习
2018-07-17 v2 机器学习
摘要
随着电子健康记录的广泛采用，对能够有效处理临床时间序列数据的预测模型的重视日益增加。由带有长短期记忆（LSTM）单元的循环神经网络（RNN）架构驱动的深层神经网络，已在若干临床预测任务中取得最先进的结果。尽管 RNN 取得成功，其序列性质禁止并行计算，因而在处理长序列时效率低下。近来，仅基于注意力机制的架构在 NLP 的转导任务中展现出显著成功，同时在计算上更具优势。在本文中，我们首次将注意力模型用于临床时间序列建模，从而完全摒弃循环结构。我们开发了 \textit{SAnD}（Simply Attend and Diagnose，简单关注并诊断）架构，其采用掩码自注意力机制，并使用位置编码与稠密插值策略以纳入时间顺序。此外，我们开发了 \textit{SAnD} 的多任务变体，以联合推断具有多个诊断任务的模型。使用近期的 MIMIC-III 基准数据集，我们证明了所提方法在所有任务中均达到最先进性能，优于具有手工设计特征的 LSTM 模型与经典基线。
引用
@article{arxiv.1711.03905,
title = {Attend and Diagnose: Clinical Time Series Analysis using Attention Models},
author = {Huan Song and Deepta Rajan and Jayaraman J. Thiagarajan and Andreas Spanias},
journal= {arXiv preprint arXiv:1711.03905},
year = {2018}
}
备注
AAAI 2018