相关语言依存句法分析器间的参数共享
计算与语言
2018-10-08 v2
摘要
先前的研究表明,基于转移的神经网络依存句法分析器在相关语言之间进行参数共享可以带来更好的性能,但对于共享哪些参数尚无共识。我们对10种语言、代表5对来自不同语系的亲属语言进行了27种不同参数共享策略的评估。我们发现共享转移分类器参数总是有帮助,而共享词和/或字符LSTM参数的效用则各不相同。基于这一结果,我们提出了一种架构,其中转移分类器被共享,而词和字符参数的共享由一个可在验证数据上调优的参数控制。该模型以语言学为动机,并相比单语训练的基线取得了显著改进。我们还发现,在无关语言对上训练句法分析器时,共享转移分类器参数也有帮助,但我们发现,对于无关语言,共享过多参数并无助益。
引用
@article{arxiv.1808.09055,
title = {Parameter sharing between dependency parsers for related languages},
author = {Miryam de Lhoneux and Johannes Bjerva and Isabelle Augenstein and Anders Søgaard},
journal= {arXiv preprint arXiv:1808.09055},
year = {2018}
}
备注
EMNLP 2018