语言模型对数字词语的非文字理解
计算与语言
2025-06-03 v2
摘要
人类天然地以非文字方式解释数字，毫无意识地将情境、世界知识与说话者意图结合起来。我们探讨了大型语言模型 (LLMs) 是否类似地解释数字，专注于夸张和实用主义光环效应。通过与人类数据和实用主义推理计算模型的系统比较，我们发现 LLMs 与人类解释呈现显著差异。通过分解实用主义推理为可测试的组成部分，基于 Rational Speech Act 框架，我们确定了 LLM 处理与人类认知差异所在——不在先验知识方面，而是在与之进行推理方面。这一洞见使我们能够开发出针对性解决方案——受 RSA 模型启发的链式思维提示使 LLMs 的解释更贴近人类。我们的工作表明，计算认知模型既能诊断 AI 与人类之间的差异，又能指导开发更贴近人类的语言理解能力。
引用
@article{arxiv.2502.06204,
title = {Non-literal Understanding of Number Words by Language Models},
author = {Polina Tsvilodub and Kanishk Gandhi and Haoran Zhao and Jan-Philipp Fränken and Michael Franke and Noah D. Goodman},
journal= {arXiv preprint arXiv:2502.06204},
year = {2025}
}
备注
12 pages, 10 figures. To appear in the Proceedings of CogSci 2025