用于可解释 ICD 编码的分层标签级注意力 Transformer 模型
机器学习
2022-10-04 v2 计算与语言
摘要
国际疾病分类（ICD）编码在系统归类发病率与死亡率数据中起着重要作用。本研究提出一种分层标签级注意力 Transformer 模型（HiLAT），用于从临床文档中可解释地预测 ICD 编码。HiLAT 首先微调一个预训练 Transformer 模型以表示临床文档的 token。随后我们采用两级分层标签级注意力机制来创建标签特定的文档表示。这些表示进而被前馈神经网络用于预测特定 ICD 编码是否被赋予所关注的输入临床文档。我们使用来自 MIMIC-III 数据库的出院小结及其对应 ICD-9 编码评估 HiLAT。为考察不同类型 Transformer 模型的性能，我们开发了 ClinicalplusXLNet，其利用所有 MIMIC-III 临床笔记从 XLNet-Base 持续预训练。实验结果表明，对于 MIMIC-III 中前 50 个最频繁的 ICD-9 编码，HiLAT+ClinicalplusXLNet 的 F1 分数优于先前最先进（SOTA）模型。注意力权重的可视化为检验 ICD 编码预测的表象效度提供了一种潜在的可解释性工具。
引用
@article{arxiv.2204.10716,
title = {Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding},
author = {Leibo Liu and Oscar Perez-Concha and Anthony Nguyen and Vicki Bennett and Louisa Jorm},
journal= {arXiv preprint arXiv:2204.10716},
year = {2022}
}