RNN 架构的形式化层级
计算与语言
2020-09-22 v4 形式语言与自动机理论
摘要
我们建立了 RNN 架构表达能力的形式化层级。该层级基于两个形式化性质：空间复杂度，衡量 RNN 的记忆能力；以及有理递归，定义为递归更新是否可由加权有限状态机描述。我们将若干 RNN 变体置于此层级中。例如，我们证明了 LSTM 不是有理的，这将其与相关的 QRNN (Bradbury et al., 2016) 在形式上区分开来。我们还展示了这些模型的表达能力如何通过堆叠多层或与不同池化函数组合而得到扩展。我们的结果建立在“饱和” RNN 理论 (Merrill, 2019) 之上。虽然将这些发现形式化地扩展到非饱和 RNN 留待未来工作，我们假设非饱和 RNN 的实际可学习能力遵循类似的层级。在形式语言上训练非饱和网络的实验结果支持了这一猜想。
引用
@article{arxiv.2004.08500,
title = {A Formal Hierarchy of RNN Architectures},
author = {William Merrill and Gail Weiss and Yoav Goldberg and Roy Schwartz and Noah A. Smith and Eran Yahav},
journal= {arXiv preprint arXiv:2004.08500},
year = {2020}
}
备注
To appear at ACL 2020. Updated to include computational cost estimates and updated experimental results (in an erratum appendix)