无色的绿色循环网络层级地做梦
计算与语言
2018-03-30 v1
摘要
循环神经网络（RNN）在多种语言处理任务中取得了令人瞩目的成果，表明它们能够归纳出语言的非平凡属性。本文研究 RNN 在多大程度上学会追踪抽象的层级句法结构。我们测试了在四种语言（意大利语、英语、希伯来语、俄语）上以通用语言建模目标训练的 RNN，能否预测各种结构中的长距离数一致关系。我们在评估中纳入了无意义句子，使 RNN 无法依赖语义或词汇线索（“我同椅子一起吃的无色绿色想法狂怒地睡觉”），并对意大利语比较了模型表现与人类直觉。我们经语言模型训练的 RNN 对长距离一致关系做出了可靠预测，且未显著落后于人类表现。因此，我们为以下假设提供了支持：RNN 不仅是浅层模式提取器，还能习得更深层的语法能力。
引用
@article{arxiv.1803.11138,
title = {Colorless green recurrent networks dream hierarchically},
author = {Kristina Gulordava and Piotr Bojanowski and Edouard Grave and Tal Linzen and Marco Baroni},
journal= {arXiv preprint arXiv:1803.11138},
year = {2018}
}
备注
Accepted to NAACL 2018