漏掉的联系：大型语言模型的侧向思维谜题

纽约时报每天出版的Connections谜题要求玩家将一组十六个单词分为四组四个单词，每组单词都与一个共同主题相关。解谜需要常识和语言知识（即定义和典型用法），而且在许多情况下还需要侧向或抽象思维，因为四个类别的难度逐渐增加，最具挑战性的类别常常需要以非常规方式或作为更大短语的一部分来思考单词。我们探讨了自动化AI系统玩Connections的能力，并研究了该游戏作为自动抽象推理基准以及衡量数据驱动语言系统所编码语义信息的潜力。特别是，我们研究了句子嵌入基线和现代大型语言模型（LLM）。我们报告了它们在该任务上的准确率，衡量了链式思维提示的影响，并讨论了它们的失败模式。总体而言，我们发现Connections任务虽具挑战性，但仍可实现，是一个强大的测试平台，适用于未来的工作。