精简 LSTM 网络：LSTM_6 和 LSTM_C6

我们此前已经证明，长短期记忆 (LSTM) 循环神经网络 (RNN) 的参数精简变体在 MNIST 数据集上的性能可与标准 LSTM RNN 相媲美。在本研究中，我们表明在两个不同的基准数据集（即评论情感 IMDB 数据集和 20 Newsgroup 数据集）上也是如此。具体而言，我们重点关注两个最简单的变体，即 LSTM_6（即具有三个恒定固定门的标准 LSTM）和 LSTM_C6（即进一步精简了细胞体输入块的 LSTM_6）。我们证明，当超参数（例如学习参数、隐藏单元数量和门常数）设置适当时，这两个大幅精简参数的变体可与标准 LSTM 相媲美。这些架构能够加速训练计算，因此，这些网络将更适合于在计算资源相对有限的便携式设备上进行在线训练和推断。