PLM-ICD：基于预训练语言模型的自动 ICD 编码
计算与语言
2022-07-13 v1 人工智能
摘要
将电子健康记录（EHR）自动分类为诊断编码对 NLP 社区一直具有挑战性。最先进的方法将此问题视为多标签分类问题，并提出了各种架构来建模该问题。然而，这些系统未利用预训练语言模型的优异性能，而后者在自然语言理解任务上取得了优异表现。先前工作表明，预训练语言模型在常规微调方案下在此任务上表现不佳。因此，本文旨在分析表现不佳的原因，并开发一个基于预训练语言模型的自动 ICD 编码框架。我们通过实验发现了三个主要问题：1）大标签空间，2）长输入序列，以及 3）预训练与微调之间的领域不匹配。我们提出了 PLMICD，一个通过多种策略应对这些挑战的框架。实验结果表明，我们提出的框架能够克服这些挑战，并在基准 MIMIC 数据的多个指标上取得最先进的性能。源代码可在 https://github.com/MiuLab/PLM-ICD 获取。
引用
@article{arxiv.2207.05289,
title = {PLM-ICD: Automatic ICD Coding with Pretrained Language Models},
author = {Chao-Wei Huang and Shang-Chi Tsai and Yun-Nung Chen},
journal= {arXiv preprint arXiv:2207.05289},
year = {2022}
}
备注
Accepted to the ClinicalNLP 2022 workshop