用于序列学习的上下文非局部神经网络
计算与语言
2018-11-22 v1
摘要
近来，大量神经机制与模型被提出用于序列学习，其中以 Transformer 模型为代表的自注意力和图神经网络（GNNs）备受关注。本文中，我们提出一种结合并借鉴这两种方法互补优势的途径。具体而言，我们提出上下文非局部神经网络（CN），其既能动态构建句子特定任务的结构，又能利用特定邻域内的丰富局部依赖。在文本分类、语义匹配和序列标注中十个 NLP 任务上的实验结果表明，我们提出的模型优于有竞争力的基线，并发现了特定任务的依赖结构，从而为用户提供更好的可解释性。
引用
@article{arxiv.1811.08600,
title = {Contextualized Non-local Neural Networks for Sequence Learning},
author = {Pengfei Liu and Shuaichen Chang and Xuanjing Huang and Jian Tang and Jackie Chi Kit Cheung},
journal= {arXiv preprint arXiv:1811.08600},
year = {2018}
}
备注
Accepted by AAAI2019