公开可用的临床 BERT 词嵌入
计算与语言
2019-06-24 v3
摘要
诸如 ELMo（Peters 等，2018）与 BERT（Devlin 等，2018）之类的上下文词嵌入模型在近几个月中显著提升了诸多自然语言处理（NLP）任务的性能。然而，这些模型在诸如临床文本之类的专业语料上鲜有探索；此外，在临床领域，尚不存在公开可用的预训练 BERT 模型。在这项工作中，我们针对这一需求，探索并发布了用于临床文本的 BERT 模型：一个面向通用临床文本，另一个专门针对出院小结。我们证明，与非特定嵌入相比，使用领域特定模型在三个常见临床 NLP 任务上带来了性能提升。这些领域特定模型在两个临床去标识任务上表现不佳，我们认为这是去标识源文本与合成的非去标识任务文本之间差异的自然结果。
引用
@article{arxiv.1904.03323,
title = {Publicly Available Clinical BERT Embeddings},
author = {Emily Alsentzer and John R. Murphy and Willie Boag and Wei-Hung Weng and Di Jin and Tristan Naumann and Matthew B. A. McDermott},
journal= {arXiv preprint arXiv:1904.03323},
year = {2019}
}
备注
Clinical Natural Language Processing (ClinicalNLP) Workshop at NAACL 2019