将神经语言模型作为心理语言学受试者：句法状态的表征
计算与语言
2019-03-11 v1
摘要
我们运用受控心理语言学实验方法，以阐明神经网络语言模型的行为在多大程度上反映了句法状态的增量式表征。为此，我们在包含各种复杂句法结构的人工句子上检验了模型行为。我们测试了四个模型：两个在大型数据集上训练的公开可用的英语 LSTM 序列模型（Jozefowicz et al., 2016; Gulordava et al., 2018）；一个在小型已句法分析数据集上训练的 RNNG（Dyer et al., 2016）；以及一个在与 RNNG 相同的小型语料库上训练的 LSTM。我们发现，在大型数据集上训练的 LSTM 能够以与 RNNG 相当的方式表征跨越大段文本的句法状态，而在小型数据集上训练的 LSTM 则不能，或仅能微弱地表征。
引用
@article{arxiv.1903.03260,
title = {Neural Language Models as Psycholinguistic Subjects: Representations of Syntactic State},
author = {Richard Futrell and Ethan Wilcox and Takashi Morita and Peng Qian and Miguel Ballesteros and Roger Levy},
journal= {arXiv preprint arXiv:1903.03260},
year = {2019}
}
备注
Accepted to NAACL 2019. Not yet edited into the camera-ready version