作为心理语言学受试的RNN:句法状态与语法依存
计算与语言
2018-09-06 v1
摘要
循环神经网络(RNNs)是自然语言序列建模的最先进方法。然而,在优化语言建模目标的过程中,它们隐式学习并表征了自然语言的哪些语法特征,仍知之甚少。在此,我们采用受控心理语言学实验的方法,以揭示RNN行为在多大程度上反映了表征人类语言行为的增量句法状态与语法依存表征。我们广泛测试了两个公开可用的长短期记忆(LSTM)英文序列模型,并学习并测试了一个新的日文LSTM。我们证明这些模型表征并维持增量句法状态,但它们并不总以与人类相同的方式泛化。此外,我们的所有模型都未能学习到许可反身代词或否定极性项的恰当语法依存配置。
引用
@article{arxiv.1809.01329,
title = {RNNs as psycholinguistic subjects: Syntactic state and grammatical dependency},
author = {Richard Futrell and Ethan Wilcox and Takashi Morita and Roger Levy},
journal= {arXiv preprint arXiv:1809.01329},
year = {2018}
}