神经语言模型中的层级表征：期望的抑制与恢复
计算与语言
2019-06-11 v1
摘要
深度学习序列模型已使一系列自然语言处理任务的性能显著提升，但它们能否仅从线性输入归纳出表征自然语言的恰当层级泛化仍属开放问题。使用人工语言作为训练输入的工作表明，LSTM 能够归纳出表征上下文无关及某些轻度上下文有关语言所需的类栈数据结构——这些形式语言类在理论上对应自然语言的层级结构。本文提出一组实验，探究在语言数据上训练的神经语言模型是否归纳出这些类栈数据结构，并在增量预测词时加以运用。我们研究两种自然语言现象：中心嵌入句与填充语-空缺依赖上的句法孤岛约束。为正确预测这些结构中的词，模型必须能暂时抑制某些期望而后恢复，本质上即在栈上压入与弹出这些期望。我们的结果提供证据表明，模型在许多情况下能成功抑制并恢复期望，但未能完全恢复其先前的语法状态。
引用
@article{arxiv.1906.04068,
title = {Hierarchical Representation in Neural Language Models: Suppression and Recovery of Expectations},
author = {Ethan Wilcox and Roger Levy and Richard Futrell},
journal= {arXiv preprint arXiv:1906.04068},
year = {2019}
}
备注
Proceedings of BlackboxNLP 2019, ACL, Florence, Italy