可并行化记忆循环单元

随着大规模并行处理单元的出现，并行化已成为新型序列模型的一个理想特性。在训练过程中能够沿序列长度方向并行处理序列，是 Transformer 架构兴起背后的主要因素之一。然而，Transformer 在序列生成方面缺乏效率，因为它们在每一步生成时都需要重新处理所有过去的时间步。最近，状态空间模型（SSMs）作为一种更高效的替代方案应运而生。这类新型循环神经网络（RNNs）保留了 RNN 的高效更新能力，同时通过消除非线性动力学（或递归）获得了并行化能力。SSMs 能够通过对潜在的超大型网络进行高效训练来达到最先进的性能，但仍然受限于表征能力不足。具体而言，由于其单稳态特性，SSMs 无法表现出持久记忆，即无限期保留信息的能力。在本文中，我们引入了一类新型 RNNs，即记忆循环单元，它将非线性 RNN 的持久记忆能力与 SSMs 的可并行化计算相结合。这些单元利用多稳态作为持久记忆的来源，同时消除瞬态动力学以实现高效计算。随后，我们推导出一个具体的实现作为概念验证：双稳态记忆循环单元。这种新型 RNN 与并行扫描算法兼容。我们证明 BMRU 在具有长期依赖的任务中取得了良好的结果，并且可以与状态空间模型相结合，创建出既可并行化、又具有瞬态动力学和持久记忆的混合网络。