基于跨度的联合实体与关系抽取及 Transformer 预训练
计算与语言
2021-06-30 v4 机器学习
摘要
我们提出 SpERT，一种用于基于跨度的联合实体与关系抽取的注意力模型。我们的关键贡献是在 BERT 嵌入上的轻量级推理，其具备实体识别与过滤，以及基于局部化、无标记上下文表示的关系分类。该模型使用强句内负样本训练，这些负样本可在单次 BERT 前向传播中高效提取。这些特性便于对句中所有跨度进行搜索。在消融研究中，我们展示了预训练、强负采样与局部上下文的益处。我们的模型在多个联合实体与关系抽取数据集上以最高 2.6% 的 F1 分数优于先前工作。
引用
@article{arxiv.1909.07755,
title = {Span-based Joint Entity and Relation Extraction with Transformer Pre-training},
author = {Markus Eberts and Adrian Ulges},
journal= {arXiv preprint arXiv:1909.07755},
year = {2021}
}
备注
Published at ECAI 2020; marginally revised version; because of new insights into evaluation metrics used in related work, we updated Table 1 and report both micro/macro averaged entity values for the ADE dataset