当前输入在序列建模中的重要性

序列建模的最新进展主要基于深度学习方法。当前最先进的方法涉及标准LSTM架构的变体，并结合若干技巧以提升训练后神经网络的最终预测率。然而，在某些情况下，这些改编可能过度拟合于所解决的具体问题。本文中，我们展示了一个非常简单的想法——在输入与输出之间添加一条跳过循环模块的直接连接——能够提升与自然语言处理相关的序列建模问题的预测精度。在不同问题上进行的实验表明，无论架构和训练细节如何，将此类连接加入循环网络总能改善结果。当将该想法引入引领领域的模型时，所得网络在语言建模问题上达到了新的最先进困惑度。