论循环神经网络的计算能力
计算与语言
2019-06-20 v2 机器学习
摘要
近期诸如基本循环神经网络（RNN）与门控循环单元（GRU）等神经网络架构，作为自然语言处理任务的端到端学习架构而崭露头角。但此类系统的计算能力究竟如何？我们证明，具有一个隐藏层和ReLU激活的有限精度RNN以及有限精度GRU，其计算能力与确定性有限自动机完全相当。若允许任意精度，我们证明具有一个隐藏层和ReLU激活的RNN至少与下推自动机计算能力相当。若进一步允许无限精度、无限边权和非线性输出激活函数，我们证明GRU至少与下推自动机计算能力相当。所有结果均以构造性方式给出。
引用
@article{arxiv.1906.06349,
title = {On the Computational Power of RNNs},
author = {Samuel A. Korsky and Robert C. Berwick},
journal= {arXiv preprint arXiv:1906.06349},
year = {2019}
}