利用协作关系增强注意力改进长尾关系抽取
计算与语言
2020-11-03 v2
摘要
错误标注问题与长尾关系是远程监督关系抽取中引起的两个主要挑战。近期工作通过多实例学习的选择性注意力缓解了错误标注,但即便引入关系层次结构以共享知识,仍不能很好地处理长尾关系。在本工作中,我们提出一种新颖的神经网络——协作关系增强注意力(CoRA),以同时应对错误标注与长尾关系。具体地,我们首先提出关系增强注意力网络作为基础模型。它在句子包上以句子到关系的注意力运作,以最小化错误标注的影响。随后,借助所提基础模型,我们引入在层次结构中关系间共享的协作关系特征,以促进关系增强过程并平衡长尾关系的训练数据。除预测句子包关系的主要训练目标外,还利用辅助目标引导关系增强过程,以获得更准确的包级表示。在流行基准数据集NYT上的实验中,所提CoRA在Precision@N、AUC和Hits@K方面大幅提升了先前最优性能。进一步分析验证了相较于竞争方法,其在处理长尾关系上的优越能力。
引用
@article{arxiv.2010.03773,
title = {Improving Long-Tail Relation Extraction with Collaborating Relation-Augmented Attention},
author = {Yang Li and Tao Shen and Guodong Long and Jing Jiang and Tianyi Zhou and Chengqi Zhang},
journal= {arXiv preprint arXiv:2010.03773},
year = {2020}
}
备注
Accepted to appear at COLING 2020