利用预训练Transformer一次性抽取多重关系
计算与语言
2019-06-04 v2 人工智能
摘要
大多数从段落中抽取多重关系的方法需要对段落进行多次遍历。在实践中，多次遍历计算开销大，难以扩展到更长段落和更大型文本语料。在本工作中，我们关注于仅对段落编码一次（一次性）的多重关系抽取任务。我们在预训练的自注意力（Transformer）模型上构建解决方案，首先添加一个结构化预测层以处理多个实体对之间的抽取，随后通过实体感知注意力技术增强段落嵌入以捕获与每个实体相关的多重关系信息。我们表明，我们的方法不仅可扩展，而且能在标准基准ACE 2005上取得最先进性能。
引用
@article{arxiv.1902.01030,
title = {Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers},
author = {Haoyu Wang and Ming Tan and Mo Yu and Shiyu Chang and Dakuo Wang and Kun Xu and Xiaoxiao Guo and Saloni Potdar},
journal= {arXiv preprint arXiv:1902.01030},
year = {2019}
}
备注
7 pages