循环结构对于建模层次信息的重要性
计算与语言
2018-08-29 v2
摘要
近期研究表明，循环神经网络（RNNs）在训练以解决语言建模（Linzen et al., 2016）和神经机器翻译（Shi et al., 2016）等常见自然语言处理任务时，能够隐式地捕捉并利用层次信息。相比之下，尽管非循环神经网络在许多 NLP 任务中取得成功（Gehring et al., 2017; Vaswani et al., 2017），其建模结构化数据的能力却鲜受关注。在本工作中，我们比较了循环与非循环两类架构在建模层次结构能力上的差异，发现循环性对此目的确实重要。
引用
@article{arxiv.1803.03585,
title = {The Importance of Being Recurrent for Modeling Hierarchical Structure},
author = {Ke Tran and Arianna Bisazza and Christof Monz},
journal= {arXiv preprint arXiv:1803.03585},
year = {2018}
}
备注
EMNLP 2018