利用预训练语言模型与电子健康记录上下文抽取生物医学事实知识
信息检索
2022-10-24 v2 人工智能
机器学习
摘要
语言模型（LMs）在生物医学自然语言处理应用中表现良好。在本研究中，我们进行了一些实验，使用提示（prompt）方法从语言模型中抽取知识作为新知识库（LMs as KBs）。然而，提示只能作为知识抽取的下界，且在生物医学领域知识库上表现尤其差。为使语言模型作为知识库更符合生物医学领域的实际应用场景，我们特意在提示中加入电子健康记录（EHR）笔记作为上下文，以提升生物医学领域的下界。我们为提出的 Dynamic-Context-BioLAMA 任务设计并验证了一系列实验。实验表明，这些语言模型所具备的知识能够从 EHR 笔记中的噪声知识里区分出正确知识，且这种区分能力也可作为一种新指标来评估模型所具备知识的数量。
引用
@article{arxiv.2209.07859,
title = {Extracting Biomedical Factual Knowledge Using Pretrained Language Model and Electronic Health Record Context},
author = {Zonghai Yao and Yi Cao and Zhichao Yang and Vijeta Deshpande and Hong Yu},
journal= {arXiv preprint arXiv:2209.07859},
year = {2022}
}
备注
Presented at the AMIA 2022 Annual Symposium as an oral paper. Revised some content in Introduction and Related Work section