语言模型对可疑巧合的敏感性
计算与语言
2025-04-15 v1
摘要
人类在对数据进行归纳推断时对可疑巧合十分敏感，因为他们会对数据采样方式作出假设，从而更倾向于选择较小、较为具体的假设而非更通用的假设。例如，当给出集合 {Austin, Dallas, Houston} 时，人们更倾向于认为它来自“德克萨斯州城市”而非“美国城市”，尽管两者都与数据兼容。可疑巧合与语言推理密切相关，可作为测试系统对任务沟通目标敏感性的基准（即弄清数据所属真实类别）。本文分析语言模型（LMs）的行为是否反映了可疑巧合效应。我们在两个领域进行研究：1) 数字游戏，其中人类对数字（如 4）是否符合给定数字列表（如 16, 32, 2）的判断做出判断；2) 将数字游戏扩展到著名城市。对于这两个领域，数据与多个假设兼容，我们研究哪个假设最符合模型行为。在分析五个模型后，我们未发现 LMs 在零-shot 行为中表现出强烈的可疑巧合证据。然而，在获得假设空间访问权限（通过链式思考或显式提示）后，LMs 开始显示出类似可疑巧合的效应，有时甚至表现出与人类一致的效应。我们的研究表明，LMs 的归纳推理行为可以通过显式获取假设景观来增强。
引用
@article{arxiv.2504.09387,
title = {On Language Models' Sensitivity to Suspicious Coincidences},
author = {Sriram Padmanabhan and Kanishka Misra and Kyle Mahowald and Eunsol Choi},
journal= {arXiv preprint arXiv:2504.09387},
year = {2025}
}