IndyLSTM：独立循环的长短期记忆网络

我们提出了独立循环长短期记忆单元：IndyLSTM。其与常规 LSTM 单元的不同之处在于，循环权重不被建模为完整矩阵，而是对角矩阵，即每个 LSTM 单元的输出和状态依赖于输入及其自身的输出/状态，而非依赖于输入以及该层中所有单元的输出/状态。每个 IndyLSTM 层的参数数量，从而每次评估的 FLOPS 数量，与该层节点数呈线性关系，而常规 LSTM 层为二次关系，因此有望得到更小且更快的模型。我们通过在流行的 \iamondb 和 CASIA 在线手写数据集以及多个内部数据集上训练若干模型，对其性能进行了实验评估。我们表明，尽管规模更小，IndyLSTM 在每参数准确率和总体最佳准确率方面都始终优于常规 LSTM。我们将这一性能提升归因于 IndyLSTM 更不易过拟合。