知识图谱与注意力有何助益？面向包级关系抽取的定量分析
计算与语言
2021-11-19 v1 人工智能
摘要
知识图谱（KG）与注意力机制已被证明能有效地为弱监督方法引入并筛选有用信息。然而，现有证据仅提供了定性分析与消融研究。本文贡献了一个数据集并提出一种范式，以定量评估注意力与 KG 对包级关系抽取（RE）的影响。我们发现：（1）更高的注意力准确率可能导致更差的性能，因其可能损害模型抽取实体提及特征的能力；（2）注意力的性能受多种噪声分布模式的显著影响，这与真实世界数据集密切相关；（3）KG 增强的注意力确实提升了 RE 性能，但并非通过增强注意力，而是通过引入实体先验；（4）注意力机制可能加剧训练数据不足的问题。基于这些发现，我们展示了一个直接的 RE 模型变体，相较于三个最先进（SOTA）基线，在两个真实世界数据集上取得了显著提升（平均 6% AUC）。我们的代码与数据集可在 https://github.com/zig-kwin-hu/how-KG-ATT-help 获取。
引用
@article{arxiv.2107.12064,
title = {How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction},
author = {Zikun Hu and Yixin Cao and Lifu Huang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2107.12064},
year = {2021}
}