有限精度 RNN 用于语言识别的实际计算能力
机器学习
2018-05-15 v1 计算与语言
机器学习
摘要
尽管循环神经网络（RNN）众所周知是图灵完备的，但这依赖于状态的无限精度与无界计算时间。我们考虑计算时间关于输入长度呈线性的有限精度 RNN 情形。在这些限制下，我们表明不同的 RNN 变体具有不同的计算能力。特别地，我们表明带有 ReLU 激活的 LSTM 与 Elman-RNN 严格强于带有挤压激活的 RNN 与 GRU。这是因为 LSTM 与 ReLU-RNN 能够轻易实现计数行为。我们通过实验表明 LSTM 确实学习到有效利用该计数机制。
引用
@article{arxiv.1805.04908,
title = {On the Practical Computational Power of Finite Precision RNNs for Language Recognition},
author = {Gail Weiss and Yoav Goldberg and Eran Yahav},
journal= {arXiv preprint arXiv:1805.04908},
year = {2018}
}
备注
Accepted as a short paper in ACL 2018