利用知识改进生物医学预训练语言模型
计算与语言
2021-04-22 v1
摘要
预训练语言模型已在许多自然语言处理任务中展现出成功。许多工作探索将知识融入语言模型。在生物医学领域，专家已耗费数十年努力构建大规模知识库。例如，统一医学语言系统（UMLS）包含数百万实体及其同义词，并定义了数百种实体间关系。利用该知识可惠及诸如命名实体识别与关系抽取等多种下游任务。为此，我们提出 KeBioLM，一种显式利用来自 UMLS 知识库知识的生物医学预训练语言模型。具体而言，我们从 PubMed 摘要中抽取实体并将其链接至 UMLS。随后我们训练一个知识感知语言模型，其首先应用纯文本编码层学习实体表示，并应用文本-实体融合编码以聚合实体表示。此外，我们加入实体检测与实体链接两个训练目标。在 BLURB 基准上的命名实体识别与关系抽取实验证明了我们方法的有效性。在收集到的探测数据集上的进一步分析表明，我们的模型具备更好的建模医学知识的能力。
引用
@article{arxiv.2104.10344,
title = {Improving Biomedical Pretrained Language Models with Knowledge},
author = {Zheng Yuan and Yijia Liu and Chuanqi Tan and Songfang Huang and Fei Huang},
journal= {arXiv preprint arXiv:2104.10344},
year = {2021}
}
备注
Accepted at BioNLP 2021