LSTMs在解析助动词结构时应学/所学/能学什么？
计算与语言
2020-10-13 v2
摘要
对神经网络NLP模型学习了语言哪些方面的研究兴趣日益增长。一个突出的开放问题是要不要对层次结构建模。我们提出对神经解析器的一项语言学调查，为此问题增添见解。我们比较了助动词结构（AVCs）与限定主动词（FMVs）的及物性和一致信息。这一比较受依存语法特别是Tesnière（1959）工作的启发，其中AVCs和FMVs都是核（nucleus）的实例，即句法的基本单位。AVC是分离核，由至少两个词组成；FMV是其非分离对应物，恰好由一个词组成。我们建议AVCs和FMVs的表示应捕捉相似信息。我们使用诊断分类器在四种类型学不同的语言中探查基于转移的神经网络解析器所学向量中的一致性与及物性信息。我们发现，若架构中仅使用序列模型（BiLSTMs），解析器学到关于AVCs和FMVs的不同信息；而当使用递归层时则学到相似信息。通过仔细考察网络中信息如何被学习以及AVCs不同依存表示下发生的情况，我们为这一现象找到了解释。我们得出结论：在依存解析中使用递归层可能有益，且我们尚未找到将其整合进解析器的最佳方式。
引用
@article{arxiv.1907.07950,
title = {What Should/Do/Can LSTMs Learn When Parsing Auxiliary Verb Constructions?},
author = {Miryam de Lhoneux and Sara Stymne and Joakim Nivre},
journal= {arXiv preprint arXiv:1907.07950},
year = {2020}
}
备注
Accepted by the Computational Linguistics journal