用于神经依存句法分析的深度双仿射注意力
计算与语言
2017-03-13 v3 神经与进化计算
摘要
本文基于 Kiperwasser & Goldberg (2016) 近期在简单基于图的依存句法分析器中使用神经注意力的工作。我们采用了一种比其他近期基于BiLSTM的方法更大但正则化更彻底的分析器，使用双仿射分类器来预测弧和标签。我们的分析器在六种不同语言的标准树库上取得了最先进或接近最先进的性能，在最常用的英语PTB数据集上达到了95.7%的UAS和94.1%的LAS。这使其成为该基准上性能最高的基于图的分析器——比 Kiperwasser & Goldberg (2016) 高出1.8%和2.2%——并与性能最高的基于转移的解析器（Kuncoro et al., 2016）相当，后者达到了95.8% UAS和94.6% LAS。我们还展示了哪些超参数选择对解析准确率有显著影响，使我们能够比其他基于图的方法获得大幅提升。
引用
@article{arxiv.1611.01734,
title = {Deep Biaffine Attention for Neural Dependency Parsing},
author = {Timothy Dozat and Christopher D. Manning},
journal= {arXiv preprint arXiv:1611.01734},
year = {2017}
}
备注
Accepted to ICLR 2017; updated with new results and comparison to more recent models, including current state-of-the-art