用于迭代精炼依存句法分析的递归非自回归图到图Transformer
计算与语言
2021-03-22 v2 机器学习
摘要
我们提出递归非自回归图到图Transformer架构(RNGTr)，通过递归应用非自回归图到图Transformer对任意图进行迭代精炼，并将其应用于句法依存分析。我们在多个依存语料库上利用以BERT预训练的精炼模型展示了RNGTr的能力与有效性。我们还引入了句法Transformer(SynTr)，一种类似于我们精炼模型的非递归分析器。RNGTr能够提升来自Universal Dependencies Treebanks的13种语言、英语与汉语Penn Treebanks以及德语CoNLL2009语料库上多种初始分析器的准确率，甚至超越SynTr所取得的新最先进结果，显著改进了所有被测语料库的最先进水平。
引用
@article{arxiv.2003.13118,
title = {Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement},
author = {Alireza Mohammadshahi and James Henderson},
journal= {arXiv preprint arXiv:2003.13118},
year = {2021}
}
备注
Accepted to Transactions of the Association for Computational Linguistics (TACL) journal