无监督关系抽取的深层双向 Transformer 模型
机器学习
2019-11-04 v1 机器学习
摘要
我们提出了一种新颖的框架，用于处理在完全缺乏监督情况下的关系抽取任务，这种缺乏既表现为无黄金标注，也表现为无知识库中的关系。我们的方法利用句法解析和预训练词嵌入来抽取少量但精确的关系，然后以与远程监督相同的方式用于标注更大的语料库。所得数据集被用来微调预训练的 BERT 模型以执行关系抽取。在来自生物医学领域的四个数据集上的实证评估表明，我们的方法显著优于两个简单的无监督关系抽取基线，并且即使完全不使用任何监督，在四个数据集中的三个上取得了略差于最先进方法（SOTA）的结果。重要的是，我们表明可以成功地用含噪数据微调大型预训练语言模型，这与依赖黄金数据进行微调的先前工作相反。
引用
@article{arxiv.1911.00313,
title = {Deep Bidirectional Transformers for Relation Extraction without Supervision},
author = {Yannis Papanikolaou and Ian Roberts and Andrea Pierleoni},
journal= {arXiv preprint arXiv:1911.00313},
year = {2019}
}