利用上下文嵌入增强临床概念抽取
计算与语言
2019-08-15 v4
摘要
基于神经网络的表示（“嵌入”）已显著推进自然语言处理（NLP）任务，包括概念抽取等临床 NLP 任务。然而，近来更先进的嵌入方法与表示（如 ELMo、BERT）进一步推动了 NLP 的最先进水平，但对于如何将这些表示整合进临床任务尚缺乏通用的佳实践。因此，本研究的目的是探索利用这些新模型进行临床概念抽取的可选方案空间，包括将这些模型与传统词嵌入方法（word2vec、GloVe、fastText）进行比较。我们评估了现成的开放域嵌入与来自 MIMIC-III 的预训练临床嵌入。我们探索了一系列由传统词嵌入与上下文嵌入组成的嵌入方法，并在四个概念抽取语料库上进行比较：i2b2 2010、i2b2 2012、SemEval 2014 与 SemEval 2015。我们还分析了像 ELMo 或 BERT 这样的大型语言模型的预训练时间对抽取性能的影响。最后，我们提出了一种直观方法来理解上下文嵌入所编码的语义信息。在大型临床语料上预训练的上下文嵌入在所有概念抽取任务上均取得了新的最先进性能。性能最佳的模型以各自的 F1 值 90.25、93.18（部分）、80.74 与 81.65 优于所有最先进方法。我们通过这些方法在临床概念抽取上取得的最先进性能展示了上下文嵌入的潜力。此外，我们证明上下文嵌入编码了传统词表示所未涵盖的宝贵语义信息。
引用
@article{arxiv.1902.08691,
title = {Enhancing Clinical Concept Extraction with Contextual Embeddings},
author = {Yuqi Si and Jingqi Wang and Hua Xu and Kirk Roberts},
journal= {arXiv preprint arXiv:1902.08691},
year = {2019}
}
备注
Journal of the American Medical Informatics Association