语言模型是否具有关于日常事物的连贯心智模型?
计算与语言
2023-06-09 v3 人工智能
摘要
当人们想到像鸡蛋这样的日常事物时,通常会有一个与之关联的心智图像。这使他们能正确判断,例如“蛋黄包围蛋壳”是一个错误陈述。语言模型是否同样具有此类日常事物的连贯图像?为探究此问题,我们提出了一个基准数据集,包含 100 个日常事物、它们的组成部分以及这些部分之间的关系,表达为 11,720 个“X 关系 Y?”真/假问题。将这些问题作为探针,我们观察到诸如 GPT-3 与 Macaw 等最先进的预训练语言模型(LMs)拥有关于这些日常事物的碎片化知识,但不具备完全连贯的“部件心智模型”(准确率 54-59%,条件约束违反率 19-43%)。我们提出一种扩展,在 LM 原始预测之上添加约束满足层以应用常识约束。除消除不一致外,我们发现这也显著提升了准确率(提升 16-20%),表明如何能大幅降低 LM 关于日常事物图像的 incoherence(不连贯性)。
引用
@article{arxiv.2212.10029,
title = {Do language models have coherent mental models of everyday things?},
author = {Yuling Gu and Bhavana Dalvi Mishra and Peter Clark},
journal= {arXiv preprint arXiv:2212.10029},
year = {2023}
}
备注
ACL 2023