利用预训练语言表示改进关系抽取
计算与语言
2019-06-10 v1
摘要
当前最优的关系抽取方法通常依赖一组在预处理步骤中显式计算的词汇、句法与语义特征。训练特征抽取模型需要额外的标注语言资源，这严重限制了关系抽取对新语言的适用性与可移植性。同样，预处理引入了额外的错误来源。为应对这些局限，我们提出 TRE，一种用于关系抽取的 Transformer，扩展了 OpenAI Generative Pre-trained Transformer [Radford et al., 2018]。与以往关系抽取模型不同，TRE 使用预训练深度语言表示而非显式语言特征来指导关系分类，并将其与自注意力 Transformer 架构结合，以有效建模实体提及间的长距离依赖。TRE 使我们能够仅从纯文本语料库通过无监督预训练学习隐式语言特征，之后再在关系抽取任务上微调所学语言表示。TRE 在 TACRED 与 SemEval 2010 Task 8 数据集上取得新的最优结果，测试 F1 分别达到 67.4 与 87.1。此外，我们观察到样本效率显著提升。仅使用 20% 的训练样本，TRE 即可匹敌我们的基线以及从零训练于 100% TACRED 数据集的模型。我们开源了训练好的模型、实验与源代码。
引用
@article{arxiv.1906.03088,
title = {Improving Relation Extraction by Pre-trained Language Representations},
author = {Christoph Alt and Marc Hübner and Leonhard Hennig},
journal= {arXiv preprint arXiv:1906.03088},
year = {2019}
}
备注
Code and models available at: https://github.com/DFKI-NLP/TRE