神经模型是否学习了自然语言单调性推理的系统性

尽管基于神经网络的语言模型取得了成功，但神经模型在多大程度上具备执行推理的泛化能力仍不清楚。本文提出一种评估神经模型能否学习自然语言单调性推理系统性的方法，即在进行组合泛化时执行任意推理的规律性。我们考虑单调性推理的四个方面，并测试模型能否在不同训练/测试划分上系统性地解释词汇与逻辑现象。一系列实验表明，当训练集与测试集中句子的句法结构相似时，三种神经模型能系统性地对未见过的词汇与逻辑现象组合进行推理。然而，当测试集中句法结构略有改变但保留训练集中已出现的所有词汇与成分时，模型性能显著下降。这表明神经模型的泛化能力仅限于句法结构与训练集几乎相同的情况。