基于相对位置编码的位置感知自注意力用于槽填充
计算与语言
2018-07-10 v1 人工智能
机器学习
摘要
本文描述了如何将带有相对位置编码的自注意力应用于关系抽取任务。我们提出将自注意力编码器层与一个额外的位置感知注意力层结合使用，该层考虑了句子中查询词与对象词的位置。自注意力编码器还使用了一种自定义实现的相对位置编码，使得句子中的每个词都能考虑其左右上下文。模型在 TACRED 数据集上进行评估。所提出的模型仅依赖注意力（未使用循环或卷积层），同时相对于先前的最先进水平提升了性能。
引用
@article{arxiv.1807.03052,
title = {Position-aware Self-attention with Relative Positional Encodings for Slot Filling},
author = {Ivan Bilan and Benjamin Roth},
journal= {arXiv preprint arXiv:1807.03052},
year = {2018}
}