人类与语言模型中三段论推理的系统比较

理性行为的核心组成部分是逻辑推理：即从一组前提中确定哪些结论成立的过程。心理学家已记录人类推理偏离逻辑规则的若干方式。语言模型基于人类生成的文本训练，它们会复制此类人类偏差，还是能够克服这些偏差？聚焦于三段论（基于两个简单前提的推理）这一情形，我们表明，在 PaLM2 系列 transformer 语言模型中，较大的模型比较小模型更具逻辑性，也比人类更具逻辑性。与此同时，即便最大的模型也会犯系统性错误，其中一些反映了人类推理偏差：它们对三段论中变量（无关的）排序敏感，并从特定三段论（三段论谬误）中得出自信但错误的推论。总体而言，我们发现语言模型常模仿其训练数据中包含的人类偏差，但在某些情况下能够克服它们。