口无遮拦致沉船：基于语言信息程序采样的战舰游戏提问研究

提问结合了我们驾驭语言的能力以及对不确定性进行推理的卓越天赋。人们如何在有限的认知资源下， navigating 巨大的假设空间以提出具有信息量的问题？我们在一项基于棋盘游戏“战舰”的经典接地提问任务中研究了这些权衡。我们的语言信息程序采样（LIPS）模型利用大型语言模型（LLMs）生成自然语言问题，将其翻译为符号程序，并评估其预期信息增益。我们发现，在出乎意料的适度资源预算下，这种简单的蒙特卡洛优化策略能够产生反映人类在不同战舰棋盘场景中表现的具有信息量的问题。相比之下，仅基于 LLM 的基线难以将问题接地到棋盘状态；值得注意的是，GPT-4V 相较于非视觉基线并未提供改进。我们的结果说明了提问的贝叶斯模型如何利用语言统计特性来捕捉人类先验，同时也突显了纯 LLM 作为接地推理器的某些缺陷。