深层循环神经网络编码软层次句法
计算与语言
2018-05-14 v1
摘要
我们提出一组实验，证明深层循环神经网络（RNNs）从高度多样的监控中学习到捕捉软层次句法概念的内部表示。我们考虑解析树不同深度的四个句法任务；对每个词，我们预测其词性以及其上方出现的第一层（父节点）、第二层（祖父节点）和第三层（曾祖父节点）成分标签。这些预测由在以下四种目标之一预训练的网络中不同深度产生的表示做出：依存解析、语义角色标注、机器翻译或语言建模。在每种情况下，我们都发现网络深度与句法深度之间的对应关系，表明出现了软句法层次。该效应在所有条件下均稳健，表明即使在没有显式句法训练监控的情况下，模型也编码了大量句法信息。
引用
@article{arxiv.1805.04218,
title = {Deep RNNs Encode Soft Hierarchical Syntax},
author = {Terra Blevins and Omer Levy and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:1805.04218},
year = {2018}
}
备注
Accepted to ACL 2018