用于远程监督关系抽取的多级结构化自注意力
计算与语言
2018-09-05 v1
摘要
在深度神经网络中，注意力机制常用于远程监督关系抽取（DS-RE）以区分有效实例与噪声实例。然而，传统的 1-D 向量注意力模型不足以在学习不同上下文时筛选有效实例以预测实体对之间的关系。为缓解此问题，我们提出了一种新颖的多级结构化（2-D 矩阵）自注意力机制，用于基于双向循环神经网络的多实例学习（MIL）框架中的 DS-RE。在所提方法中，结构化词级自注意力机制学习一个 2-D 矩阵，其中每个行向量表示关于两个实体的实例不同方面的权重分布。针对 MIL 问题，结构化句级注意力学习一个 2-D 矩阵，其中每个行向量表示在筛选不同有效实例时的权重分布。在两个公开可用的 DS-RE 数据集上进行的实验表明，所提出的带有多级结构化自注意力机制的框架在 PR 曲线、P@N 和 F1 指标上显著优于最先进的基线。
引用
@article{arxiv.1809.00699,
title = {Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction},
author = {Jinhua Du and Jingguang Han and Andy Way and Dadong Wan},
journal= {arXiv preprint arXiv:1809.00699},
year = {2018}
}
备注
Accepted by EMNLP2018