基于BERT的多头选择联合实体-关系抽取
计算与语言
2019-09-27 v2
摘要
本文报道了我们在2019语言与智能挑战赛信息抽取任务中的方法。我们将BERT引入多头选择框架以进行联合实体-关系抽取。该模型从三个角度扩展了现有方法。首先，BERT被用作多头选择框架底部的特征提取层。我们通过在BERT预训练期间引入语义增强任务来进一步优化BERT。其次，我们引入大规模百度百科语料用于实体识别预训练，由于不存在实际的命名实体标签，这属于弱监督学习。第三，提出软标签嵌入以在实体识别与关系抽取之间有效传递信息。结合这三点贡献，我们增强了多头选择模型的信息抽取能力，并在测试集1上以单一模型取得0.876的F1分数。通过集成我们模型的四种变体，我们最终在测试集1上取得0.892的F1分数（第1名），在测试集2上取得0.8924的F1分数（第2名）。
引用
@article{arxiv.1908.05908,
title = {BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction},
author = {Weipeng Huang and Xingyi Cheng and Taifeng Wang and Wei Chu},
journal= {arXiv preprint arXiv:1908.05908},
year = {2019}
}
备注
To appear at NLPCC 2019