RNN可在最优记忆下生成有界层次语言

循环神经网络在经验上以高句法保真度生成自然语言。然而其成功在理论上尚未被充分理解。我们提供对此成功的理论洞见，在有限精度设定下证明 RNN 可高效生成反映自然语言句法骨架的有界层次语言。我们引入 Dyck-($k$,$m$)，即具有 $k$ 类括号与 $m$ 界嵌套深度的良嵌套括号语言，反映了自然语言句法的有界记忆需求与长距离依赖。已知最佳结果使用 $O(k^{\frac{m}{2}})$ 记忆（隐藏单元）生成这些语言。我们通过显式构造证明，具有 $O(m \log k)$ 隐藏单元的 RNN 已足够，实现了记忆的指数级缩减。最后，我们证明任何算法，即便具有无界计算能力，也无法以 $o(m \log k)$ 隐藏单元达成。