RNN 架构需要多大复杂度才能学习句法敏感依赖？
计算与语言
2020-05-26 v2 神经元与认知
摘要
长短期记忆（LSTM）网络及其变体能够封装长距离依赖，这从它们在多种语言任务上的表现可见一斑。另一方面，简单循环网络（SRNs）在突触连接上似乎更具生物学基础，但在无监督设定下通常较不擅长捕捉长距离依赖以及语法错误的位置。本文中，我们力求开发在生物学合理性与语言能力之间弥合差距的模型。我们提出一种新架构——衰减 RNN（Decay RNN），它结合了神经元激活的衰减特性，并建模一群神经元中兴奋性与抑制性连接。除生物学启发外，我们的模型在主谓一致、句子合语法性以及语言建模任务上也展现出相对于 LSTM 的竞争力。这些结果为探究 RNN 架构成功建模语言现象所需的归纳偏置之本质提供了一些线索。
引用
@article{arxiv.2005.08199,
title = {How much complexity does an RNN architecture need to learn syntax-sensitive dependencies?},
author = {Gantavya Bhatt and Hritik Bansal and Rishubh Singh and Sumeet Agarwal},
journal= {arXiv preprint arXiv:2005.08199},
year = {2020}
}
备注
11 pages, 5 figures (including appendix); to appear at ACL SRW 2020