将下一个词预测建模为左嵌套直觉蕴涵

我们提出了\emph{箭头语言模型}，这是一种源于对下一个词预测的直觉逻辑解释的神经架构。我们不是将词元表示为通过注意力混合的加性嵌入，而是将前缀编码为一个\emph{左嵌套蕴涵链}，其结构通过非交换组合保持顺序。下一个词预测对应于\emph{假言推理}，而序列处理在柯里-霍华德对应下成为构造性证明扩展。我们基于Prolog的专用定理证明器验证了神经模型的基本属性，其中包括交换与非交换序列化以及单词元与多词元预测选择之间的关系。我们证明，等价于乘法RNN的神经架构自然产生于将下一个词预测解释为嵌套直觉蕴涵的证明论解释，我们提出了一种实用的低秩神经实现，并将该模型与Transformer和状态空间模型进行了比较。