用反常识上下文探查物理推理
计算与语言
2023-06-06 v1
摘要
在本研究中，我们创建了 CConS（反常识上下文大小比较）数据集，以探究物理常识如何影响上下文大小比较任务；所提数据集由符合物理常识与不符合物理常识的上下文共同构成。该数据集测试语言模型从我们整理的名词列表和模板生成的各种上下文中预测物体间大小关系的能力。我们度量了若干掩码语言模型和生成式模型的能力。结果表明，尽管大语言模型能利用所提供上下文中的“in”和“into”等介词推断大小关系，但它们无法利用动词，从而在其先验物理常识引导下做出错误判断。
引用
@article{arxiv.2306.02258,
title = {Probing Physical Reasoning with Counter-Commonsense Context},
author = {Kazushi Kondo and Saku Sugawara and Akiko Aizawa},
journal= {arXiv preprint arXiv:2306.02258},
year = {2023}
}
备注
Accepted to ACL 2023(Short Paper)