LSTM能学会捕捉一致关系吗？以巴斯克语为例
计算与语言
2018-11-27 v4
摘要
序列神经网络模型是多种自然语言处理（NLP）任务中的有力工具。此类模型的序列性质引发疑问：它们能在多大程度上隐式学习人类语言典型的层级结构，又能习得何种语法现象？我们聚焦巴斯克语的一致关系预测任务，以此作为需要隐式理解句子结构并习得复杂而规则形态系统的案例。通过分析来自两项句法预测任务——动词数预测与后缀复原——的实验结果，我们发现序列模型在巴斯克语一致关系预测上的表现，比基于先前英语一致关系预测工作所预期的更差。基于诊断分类器的初步发现表明，网络以局部启发式作为句子层级结构的替代。我们提出巴斯克语一致关系预测任务，作为试图学习人类语言规律模型的挑战性基准。
引用
@article{arxiv.1809.04022,
title = {Can LSTM Learn to Capture Agreement? The Case of Basque},
author = {Shauli Ravfogel and Francis M. Tyers and Yoav Goldberg},
journal= {arXiv preprint arXiv:1809.04022},
year = {2018}
}
备注
Accepted to "Analyzing and interpreting neural networks for NLP" workshop at EMNLP 2018