最小化Seq2Seq模型在联合实体与关系抽取中的暴露偏差
计算与语言
2020-10-07 v2 人工智能
机器学习
摘要
联合实体与关系抽取旨在直接从纯文本中抽取关系三元组。已有工作利用序列到序列（Seq2Seq）模型进行三元组序列生成。然而，Seq2Seq对无序三元组施加了不必要的顺序，并涉及与错误累积相关的大解码长度。这些引入了暴露偏差，可能导致模型过拟合于频繁的标签组合，从而恶化泛化能力。我们提出一种新颖的序列到无序多树（Seq2UMTree）模型，通过将三元组内解码长度限制为三并去除三元组间的顺序，来最小化暴露偏差的影响。我们在DuIE与NYT两个数据集上评估了模型，并系统研究了暴露偏差如何改变Seq2Seq模型的性能。实验表明，最优的Seq2Seq模型在两个数据集上均过拟合，而Seq2UMTree展现出显著更好的泛化能力。我们的代码发布于 https://github.com/WindChimeRan/OpenJERE 。
引用
@article{arxiv.2009.07503,
title = {Minimize Exposure Bias of Seq2Seq Models in Joint Entity and Relation Extraction},
author = {Ranran Haoran Zhang and Qianying Liu and Aysa Xuemo Fan and Heng Ji and Daojian Zeng and Fei Cheng and Daisuke Kawahara and Sadao Kurohashi},
journal= {arXiv preprint arXiv:2009.07503},
year = {2020}
}
备注
EMNLP 2020 Findings