基于混合注意力 Transformer 模块的远程监督关系抽取模型
计算与语言
2020-03-27 v2 机器学习
摘要
随着各类数字文本信息的指数级爆炸增长，从海量非结构化文本信息中高效获取特定知识极具挑战性。作为自然语言处理（NLP）的一项基础任务，关系抽取旨在基于给定文本抽取实体对之间的语义关系。为避免数据集的人工标注，远程监督关系抽取（DSRE）已被广泛使用，旨在利用知识库自动标注数据集。遗憾的是，该方法由于底层强假设而深受错误标注之苦。为解决此问题，我们提出一种新框架，使用基于混合注意力的 Transformer 模块结合多实例学习来执行 DSRE 任务。更具体地，Transformer 模块首先用作句子编码器以捕获句子的句法信息，其主要利用多头自注意力从词级别提取特征。然后，采用更简洁的句子级注意力机制来构成包表示，旨在整合每个句子的有效信息以有效表示包。在公开数据集纽约时报（NYT）上的实验结果表明，所提方法在评估数据集上优于最先进算法，验证了我们的模型在 DSRE 任务上的有效性。
关键词
引用
@article{arxiv.2003.11518,
title = {Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction},
author = {Yan Xiao and Yaochu Jin and Ran Cheng and Kuangrong Hao},
journal= {arXiv preprint arXiv:2003.11518},
year = {2020}
}