语言模型能理解什么？论 LSTM 理解负极词项的能力
计算与语言
2018-09-03 v1
摘要
在本文中，我们尝试将神经语言模型的内部机制与语言学理论相联系，聚焦于形式语言学中充分讨论的一种复杂现象：（负极）极性词项。我们简要讨论关于允许负极词项的允准语境的主导性假设，并评估神经语言模型在多大程度上能够正确处理的此类结构的一个子集。我们表明，该模型在允准语境与负极词项之间发现了关联，并且似乎意识到该语境的作用域，而我们从句子的解析树中提取出这一作用域。通过本研究，我们希望为其他将形式语言学与深度学习相联系的研究铺平道路。
引用
@article{arxiv.1808.10627,
title = {Do Language Models Understand Anything? On the Ability of LSTMs to Understand Negative Polarity Items},
author = {Jaap Jumelet and Dieuwke Hupkes},
journal= {arXiv preprint arXiv:1808.10627},
year = {2018}
}
备注
Accepted to the EMNLP workshop "Analyzing and interpreting neural networks for NLP"