基于极端多标签长文本 Transformer 模型的自动化 ICD 编码
计算与语言
2023-09-13 v2
摘要
背景：受预训练 Transformer 模型在许多自然语言处理任务中成功的鼓舞，其在国际疾病分类（ICD）编码任务中的使用正被积极探索。本研究考察三类基于 Transformer 的模型，旨在应对自动化 ICD 编码任务所面临的极端标签集与长文本分类挑战。方法：基于 Transformer 的模型 PLM-ICD 在 ICD 编码基准数据集 MIMIC-III 上取得了当前最先进（SOTA）性能，被选为我们的基线模型以进一步优化。通用极端多标签文本分类领域的新 SOTA 模型 XR-Transformer，以及 XR-Transformer 模型的新颖改编版 XR-LAT，也在 MIMIC-III 数据集上进行了训练。XR-LAT 是在预定义层级编码树上的递归训练模型链，具有标签级注意力、知识迁移与动态负采样机制。结果：我们优化的 PLM-ICD 模型以更长的总序列与分块序列长度训练，显著优于当前 SOTA PLM-ICD 模型，取得了 60.8% 的最高微平均 F1 分数。XR-Transformer 模型虽在通用领域为 SOTA，但在所有指标上表现不佳。最佳的基于 XR-LAT 的模型取得了与当前 SOTA PLM-ICD 模型相当的结果，包括将宏平均 AUC 提升 2.1%。结论：我们优化的 PLM-ICD 模型是 MIMIC-III 数据集上自动化 ICD 编码的新 SOTA 模型，而我们的新颖 XR-LAT 模型表现与先前 SOTA PLM-ICD 模型相当。
引用
@article{arxiv.2212.05857,
title = {Automated ICD Coding using Extreme Multi-label Long Text Transformer-based Models},
author = {Leibo Liu and Oscar Perez-Concha and Anthony Nguyen and Vicki Bennett and Louisa Jorm},
journal= {arXiv preprint arXiv:2212.05857},
year = {2023}
}