长短期记忆的持久隐状态与非线性变换

循环神经网络（RNNs）因在语音识别和神经机器翻译等诸多应用中的巨大成功而备受关注。长短期记忆（LSTM）是深度学习中最为流行的 RNN 单元之一。LSTM 通过仿射变换、乘法运算和非线性激活函数将输入与先前隐状态变换为下一状态，从而为给定任务提供了良好的数据表示。仿射变换包含旋转与反射，会改变隐状态各维度的语义或句法信息。然而，考虑到模型是在整个输入序列上解释 LSTM 的输出序列，状态各维度无论处于序列中何种位置都需保持同类型的语义或句法信息。本文提出一种简单的 LSTM 单元变体，即持久循环单元（PRU），其隐状态各维度在时间上保持持久信息，从而使该空间在整个序列中保持相同含义。此外，为提升非线性变换能力，我们在 PRU 结构中加入了一个前馈层。实验中，我们用三项不同任务评估所提方法，结果证实我们的方法优于常规 LSTM。