强类型循环神经网络

循环神经网络是日益流行的序列学习模型。不幸的是，尽管最有效的 RNN 架构可能过于复杂，但广泛的搜索尚未找到更简单的替代方案。本文将物理学和函数式编程的思想引入 RNN 设计，以提供指导原则。从物理学角度，我们引入了类型约束，类似于禁止将米与秒相加的约束。从函数式编程角度，我们要求强类型架构分解为无状态的可学习组件和依赖状态的固件组件，从而减少副作用的影响。强类型网络所学到的特征可以通过一维卷积上的动态平均池化获得简单的语义解释。我们还表明，强类型梯度比经典架构中的梯度表现更好，并刻画了强类型网络的表示能力。最后，实验表明，尽管受到更多约束，强类型架构实现了比经典架构更低的训练误差和相当的泛化误差。