利用词级与句级稀疏注意力结合临床笔记的院内死亡率预测模型

重症监护院内死亡率预测具有多种临床应用。神经预测模型，尤其在利用临床笔记时，已被提出作为对现有模型的改进。然而，要被接受，这些模型应具备良好性能与可解释性。本工作从不同注意力机制在临床神经预测模型的判别力与校准度方面研究了其表现。具体而言，我们探究在基于临床笔记的院内死亡率预测任务中，以稀疏注意力作为稠密注意力权重的替代方案。我们基于以下两方面评估注意力机制：i）句内词上的局部自注意力，以及ii）跨句子的Transformer架构全局自注意力。我们证明，在公开可用数据集上，就预测性能而言，局部自注意力的稀疏机制方法优于稠密方法，并对预先指定的相关指示词赋予更高注意力。然而，句级性能随着包含有影响力指示词的句子往往被整体丢弃而恶化。