仅添加函数：一种神经-符号语言模型

神经网络语言模型（NNLM）由于更精巧的架构和不断增加的训练数据量，取得了持续提升的准确率。然而，这些模型的归纳偏置（由语言的分布假说形成）虽然非常适合于对大多数连贯文本建模，却导致了当今模型的关键局限。特别是，这些模型往往难以学习某些空间、时间或数量关系，而这些关系在文本中十分常见，对人类读者而言也是本能般的容易。然而在许多情况下，这些关系可以用简单的数学或逻辑表达式来编码。我们如何以此类编码增强当今的神经模型？本文提出一种通用方法，通过将简单函数融入神经架构以形成分层神经-符号语言模型（NSLM），从而增强 NNLM 的归纳偏置。这些函数显式编码符号确定性关系，以形成词上的概率分布。我们在数字和地理位置上探究该方法的有效性，表明 NSLM 在小语料语言建模中显著降低了困惑度，并且即便在更大的语料上，对于罕见词元的性能提升依然持续。该方法简单且通用，我们讨论了如何将其应用于数字和地理之外的其他词类。