HunFlair2 在跨语料库生物医学命名实体识别与归一化工具评估中的表现
计算与语言
2024-10-15 v2
摘要
随着生命科学文献的指数级增长，生物医学文本矿业 (BTM) 已成为加速从出版物中提取洞察的关键技术。识别文本中的命名实体（如疾病、药物或基因）并将其与参考知识库关联联结，是 BTM 流程中至关重要的步骤，以实现来自不同文档的信息聚合。然而，这些步骤的工具很少在其开发时的同一语境中应用。相反，它们被应用于野外，即适用于与训练时使用的语料不同的数据收集，数据收集在焦点、类型、风格和文本类型方面各不相同。这引出了一个问题：BTM 工具在下游应用中报告的性能能否被信任？本文报告了我们精心设计的跨语料库基准测试命名实体提取的结果，其中工具被系统地应用于未用于其训练的语料。基于对 28 个已发表系统的调查，我们选取了其中五个用于对三个公开可用的语料进行深入分析，涵盖四种不同的实体类型。工具之间的比较呈现出混合的图景，显示在跨语料库环境中，性能显著低于在单一语料库环境中报告的性能。HunFlair2 在平均性能方面表现最佳，紧随其后的是 PubTator。我们的结果表明，BTM 工具的用户应期望在野外应用时性能会低于原始发表的性能，并且表明进一步的研究是必要的，以使 BTM 工具更具鲁棒性。
关键词
引用
@article{arxiv.2402.12372,
title = {HunFlair2 in a cross-corpus evaluation of biomedical named entity recognition and normalization tools},
author = {Mario Sänger and Samuele Garda and Xing David Wang and Leon Weber-Genzel and Pia Droop and Benedikt Fuchs and Alan Akbik and Ulf Leser},
journal= {arXiv preprint arXiv:2402.12372},
year = {2024}
}