用于远程监督关系抽取的交叉关系交叉包注意力
计算与语言
2018-12-31 v1 机器学习
摘要
远程监督利用知识库自动标注实例，从而允许我们在无人工标注的情况下训练关系抽取器。然而，生成的训练数据通常含有大量噪声，若采用朴素监督学习可能导致性能不佳。本文中，我们提出使用一种新颖的交叉关系交叉包选择性注意力（CSA）进行多实例学习，从而实现针对远程监督关系抽取器的抗噪训练。具体而言，我们采用句子级选择性注意力以降低含噪或错配句子的影响，同时捕捉关系间的相关性以提升注意力权重的质量。此外，不同于平等对待所有实体对，我们试图对质量更高的实体对给予更多关注。类似地，我们采用选择性注意力机制来实现这一目标。基于两类关系抽取器的实验表明了所提方法相对于当前最优方法的优越性，进一步的消融研究验证了我们的直觉并证明了所提两种技术的有效性。
引用
@article{arxiv.1812.10604,
title = {Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction},
author = {Yujin Yuan and Liyuan Liu and Siliang Tang and Zhongfei Zhang and Yueting Zhuang and Shiliang Pu and Fei Wu and Xiang Ren},
journal= {arXiv preprint arXiv:1812.10604},
year = {2018}
}
备注
AAAI 2019