人类与语言模型在语用语言理解上的细粒度比较

语用学和非字面语言理解对人类交流至关重要，并且对人工语言模型而言是一个长期存在的挑战。我们使用专家整理的英语材料集上的零样本提示，对语言模型与人类在七种语用现象上进行了细粒度比较。我们探究模型是否（1）选择说话者话语的语用解释，（2）做出与人类相似的错误模式，以及（3）使用与人类相似的语言线索来解决任务。我们发现最大的模型达到了高准确率并匹配人类错误模式：在错误响应中，模型偏好字面解释而非基于启发式的干扰项。我们还发现了模型和人类对相似语言线索敏感的初步证据。我们的结果表明，语用行为可以在模型中涌现，而无需显式构建心理状态表征。然而，模型往往难以处理依赖社会期望违背的现象。