基于带迁移嵌入的自注意力 BiLSTM-CRF 的因果关系抽取
计算与语言
2020-11-10 v6 信息检索
机器学习
摘要
从自然语言文本中抽取因果关系是人工智能中一个具有挑战性的开放问题。现有方法利用模式、约束和机器学习技术来抽取因果关系，严重依赖领域知识，并且需要大量人力和时间进行特征工程。在本文中，我们基于一种新颖的因果标注方案将因果关系抽取形式化为序列标注问题。在此基础上，我们提出了一个以 BiLSTM-CRF 模型为骨干的神经网络因果抽取器，名为 SCITE（带迁移嵌入的自注意力 BiLSTM-CRF，Self-attentive BiLSTM-CRF wIth Transferred Embeddings），它可以直接抽取原因和结果，而无需分别抽取候选因果对并识别其关系。为解决数据不足的问题，我们在任务中迁移了在大型语料上训练的上下文字符串嵌入，也称为 Flair 嵌入。此外，为提升因果关系抽取的性能，我们在 SCITE 中引入多头自注意力机制以学习因果词之间的依赖关系。我们在公开数据集上评估了我们的方法，实验结果表明我们的方法相比基线取得了显著且一致的改进。
引用
@article{arxiv.1904.07629,
title = {Causality Extraction based on Self-Attentive BiLSTM-CRF with Transferred Embeddings},
author = {Zhaoning Li and Qi Li and Xiaotian Zou and Jiangtao Ren},
journal= {arXiv preprint arXiv:1904.07629},
year = {2020}
}
备注
39 pages, 11 figures, 6 tables