面向关系抽取任务的预训练语言模型下游模型设计
计算与语言
2020-04-09 v1 机器学习
摘要
基于深度神经网络的监督关系抽取方法在近期的信息抽取领域中发挥着重要作用。然而，目前由于复杂关系的存在，其性能仍未能达到较好水平。另一方面，近期提出的预训练语言模型（PLM）通过与下游任务模型结合进行微调，已在自然语言处理的多个任务中取得巨大成功。然而，PLM的原始标准任务尚不包含关系抽取任务。我们认为PLM也可用于解决关系抽取问题，但有必要建立专门设计的下游任务模型甚至损失函数来处理复杂关系。本文设计了一种带有特殊损失函数的新网络架构，作为PLM用于监督关系抽取的下游模型。实验表明，我们的方法在多个公开关系抽取数据集上显著超越了当前最优基线模型。
引用
@article{arxiv.2004.03786,
title = {Downstream Model Design of Pre-trained Language Model for Relation Extraction Task},
author = {Cheng Li and Ye Tian},
journal= {arXiv preprint arXiv:2004.03786},
year = {2020}
}