BELB:一个生物医学实体链接基准
计算与语言
2023-08-23 v1
摘要
生物医学实体链接(BEL)是将实体提及 grounding 到知识库的任务。它在生命科学文献的信息抽取流程中起着至关重要的作用。我们回顾了该领域的近期工作,发现由于该任务在现有生物医学文本挖掘基准中缺失,不同研究采用不同的实验设置,使得基于已发表数字的对比存在问题。此外,神经系统中主要测试链接到广泛覆盖知识库 UMLS 的实例,其在更专门的知识库(如基因或变异)上的性能研究不足。因此我们开发了 BELB,一个生物医学实体链接基准,以统一格式提供对 11 个语料库和 7 个知识库的访问,涵盖六种实体类型:基因、疾病、化学物质、物种、细胞系和变异。BELB 极大减少了在多个语料库上测试 BEL 系统的预处理开销,为可复现实验提供了标准化测试平台。利用 BELB 我们对六个基于规则的实体专用系统和三个利用预训练语言模型的近期神经方法进行了广泛评估。我们的结果呈现出喜忧参半的局面,显示神经方法未能在各类实体类型上保持一致性能,凸显了朝向实体无关模型进一步研究的必要性。
引用
@article{arxiv.2308.11537,
title = {BELB: a Biomedical Entity Linking Benchmark},
author = {Samuele Garda and Leon Weber-Genzel and Robert Martin and Ulf Leser},
journal= {arXiv preprint arXiv:2308.11537},
year = {2023}
}