自由词序论元结构的神经语言建模
计算与语言
2021-03-05 v2
摘要
以预测或掩码目标训练的神经网络语言模型已成功捕捉短程与长程句法依赖。此处，我们关注德语中的动词论元结构，其具有如下有趣特性：在从句中动词论元可按相对自由的顺序出现。因此，检验动词论元结构是否正确不能严格按顺序进行，而需不顾顺序地追踪论元的格。我们提出一种基于最小变异集的新探测方法，并表明Transformers与LSTM在该测试上均取得远超随机水平的分数。与人类类似，它们也表现出梯度判断，偏好典型词序与合理格指派。然而，我们也发现这些效应强度上存在意外差异：LSTM难以拒斥含高频论元结构类型（双主格）的不合语法句子，而Transformers趋于过度泛化，接受一些人类几乎不接受的不常见词序或不可信句子。
引用
@article{arxiv.1912.00239,
title = {Neural language modeling of free word order argument structure},
author = {Charlotte Rochereau and Benoît Sagot and Emmanuel Dupoux},
journal= {arXiv preprint arXiv:1912.00239},
year = {2021}
}