微调预训练Transformer语言模型用于远程监督关系抽取
计算与语言
2019-06-21 v1
摘要
远程监督关系抽取被广泛用于从文本中抽取关系事实，但受噪声标签困扰。当前关系抽取方法试图通过多实例学习以及提供辅助的语言学与上下文信息来更有效地引导关系分类，从而减轻噪声。尽管取得了最先进的结果，我们观察到这些模型偏向于以高精度识别有限的一组关系，而忽略了长尾中的那些关系。为弥补这一差距，我们利用预训练语言模型，即OpenAI生成式预训练Transformer（GPT）[Radford et al., 2018]。GPT及类似模型已被证明能捕捉语义与句法特征，以及相当数量的“常识”知识，我们推测这些是识别更多样关系集合的重要特征。通过将GPT扩展到远程监督设定，并在NYT10数据集上微调，我们表明它以高置信度预测了更大的一组不同关系类型。对我们模型的手动与自动评估显示，它在NYT10数据集上取得了0.422的最先进AUC分数，并在较高召回水平下表现尤为良好。
引用
@article{arxiv.1906.08646,
title = {Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction},
author = {Christoph Alt and Marc Hübner and Leonhard Hennig},
journal= {arXiv preprint arXiv:1906.08646},
year = {2019}
}
备注
To appear in Proceedings of ACL 2019 (11 pages). arXiv admin note: text overlap with arXiv:1906.03088