EMBRE:面向生物医学关系抽取的实体感知掩码方法
计算与语言
2024-01-17 v1 人工智能
摘要
信息抽取技术,包括命名实体识别(NER)和关系抽取(RE),在许多领域中对于通过识别和连接相关信息来理解海量非结构化文本数据至关重要。此类技术可以帮助研究人员提取有价值的见解。在本文中,我们介绍了面向生物医学关系抽取的实体感知掩码方法(EMBRE),该方法应用于 BioRED 挑战赛任务 1 的背景中,其中人工标注的实体作为输入提供。具体来说,我们通过使用实体掩码目标预训练骨干模型,将实体知识整合到深度神经网络中。我们为每个实例随机掩码命名实体,并让模型识别被掩码的实体及其类型。通过这种方式,模型能够学习到更具体的知识和更鲁棒的表示。然后,我们利用预训练模型作为骨干来编码语言表示,并将这些表示馈送到两个多层感知机(MLP)中,以分别预测关系和新颖性的 logits。实验结果表明,我们提出的方法相较于基线,能够提升实体对、关系和新颖性抽取的性能。
引用
@article{arxiv.2401.07877,
title = {EMBRE: Entity-aware Masking for Biomedical Relation Extraction},
author = {Mingjie Li and Karin Verspoor},
journal= {arXiv preprint arXiv:2401.07877},
year = {2024}
}
备注
5 pages, 1 figure