基于跨度的联合实体-关系抽取中利用多任务学习处理负样本
计算与语言
2023-09-19 v1 机器学习
摘要
近来的基于跨度的联合抽取模型在实体识别与关系抽取中均展现出显著优势。这些模型将文本跨度视为候选实体，将跨度对视为候选关系元组，在 ADE 等数据集上取得了最先进的结果。然而，这些模型在任务过程中会遇到大量非实体跨度或不相关的跨度对，严重损害模型性能。为解决此问题，本文引入一种基于跨度的多任务实体-关系联合抽取模型。该方法采用多任务学习来缓解负样本对实体与关系分类器的影响。此外，我们利用交并比（Intersection over Union, IoU）概念将位置信息引入实体分类器，实现跨度边界检测。进一步地，通过将实体分类器预测的实体 Logits 融入实体对的嵌入表示中，丰富了关系分类器的语义输入。实验结果表明，我们提出的 SpERT.MT 模型能有效减轻过多负样本对模型性能的不利影响。此外，该模型在三个广泛使用的公开数据集 CoNLL04、SciERC 和 ADE 上分别取得了 73.61%、53.72% 和 83.72% 的优异 F1 分数。
引用
@article{arxiv.2309.09713,
title = {Dealing with negative samples with multi-task learning on span-based joint entity-relation extraction},
author = {Chenguang Xue and Jiamin Lu},
journal= {arXiv preprint arXiv:2309.09713},
year = {2023}
}
备注
13 pages, 3 figures