机器实验语用学:测试 LLM 对普通与嵌入析取推理的预测
计算与语言
2024-05-10 v1
摘要
人类交流基于我们从句子中得出的各种推理,这些推理往往超越了字面所述的内容。尽管对于蕴含、含义和预设之间的基本区别存在广泛共识,但许多推理的地位仍存在争议。在本文中,我们关注普通与嵌入析取的三种推理,并将它们与常规标量含义进行比较。我们利用最先进的大型语言模型预测这一新颖视角来研究这一比较,使用的实验范式与近期对人类相同推理的研究相同。我们表现最佳的模型的结果与人类的结果在很大程度上保持一致,这既体现在我们发现的这些推理与含义之间的巨大差异上,也体现在这些推理不同方面之间的细微区别上。
引用
@article{arxiv.2405.05776,
title = {Experimental Pragmatics with Machines: Testing LLM Predictions for the Inferences of Plain and Embedded Disjunctions},
author = {Polina Tsvilodub and Paul Marty and Sonia Ramotowska and Jacopo Romoli and Michael Franke},
journal= {arXiv preprint arXiv:2405.05776},
year = {2024}
}
备注
8 pages, 3 figures, to appear in the Proceedings of the 46th Annual Conference of the Cognitive Science Society (2024)