BERT 的魔力是否适用于医疗编码分配？一项定量研究
计算与语言
2022-06-03 v2
摘要
无监督预训练是许多自然语言处理系统不可或缺的组成部分，并且利用语言模型的迁移学习已在许多下游任务中取得显著成果。在医疗编码分配的临床应用中，诊断和手术编码是从冗长的临床记录（如医院出院小结）中推断出来的。然而，若不进一步进行架构设计，预训练模型是否对医疗编码预测有用尚不清楚。本文对不同领域预训练的多种上下文语言模型从临床记录进行医疗编码分配的性能进行了全面的定量分析。我们提出一种分层微调架构以捕获远距离词之间的交互，并采用标签级注意力来利用标签信息。与当前趋势相反，我们证明在具有高频编码的 MIMIC-III 子集上，精心训练的经典 CNN 优于基于注意力的模型。我们的实证发现为改进医疗编码分配应用指明了方向。
引用
@article{arxiv.2103.06511,
title = {Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study},
author = {Shaoxiong Ji and Matti Hölttä and Pekka Marttinen},
journal= {arXiv preprint arXiv:2103.06511},
year = {2022}
}