面向生物医学关系抽取的知识增强预训练语言模型
计算与语言
2025-11-04 v2
摘要
自动从生物医学文献中抽取关系（RE）对于管理每年产生的大量科学知识至关重要。近年来，利用预训练语言模型（PLMs）已成为RE中的主流方法。但一些研究报告在使用PLMs进行RE微调时纳入额外上下文信息可获得更好性能。然而，所使用的PLMs变异、用于增强的数据库、超参数优化以及评估方法的差异 complicate direct比较研究结果并引发对这些发现通用性的质疑。我们的研究通过在一致的评估框架下评估PLMs增强的上下文信息，解决了这一研究空白。我们评估了三个基线PLMs并进行了广泛的超参数优化。在选定表现最好的模型后，我们将其增强为包括文本实体描述、来自知识图的关系信息以及分子结构编码。我们的发现说明了：i)底层语言模型的选择和ii)进行全面超参数优化对于实现强大的抽取性能至关重要。尽管包含上下文信息仅带来轻微的整体改进，但消融研究揭示了当此类外部数据在微调期间被包含时，对较小的PLMs具有显著的益处。
引用
@article{arxiv.2505.00814,
title = {Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction},
author = {Mario Sänger and Ulf Leser},
journal= {arXiv preprint arXiv:2505.00814},
year = {2025}
}