Sudoku-Bench：利用数独变体评估创造性推理能力
人工智能
2025-05-23 v1 计算与语言
机器学习
摘要
现有的大语言模型（LLMs）推理基准测试往往无法捕捉真正的创造力，常常奖励对先前观察到的模式的记忆。我们通过 Sudoku-Bench 来解决这一缺陷，这是一个精心设计的基准测试，包含具有挑战性且非常规的数独变体，专门用于评估创造性的多步逻辑推理能力。数独变体为推理研究提供了一个异常有效的领域：每个谜题都引入了独特或微妙相互作用的约束，使得记忆变得不可行，并要求求解者识别新颖的逻辑突破口（“破局点”）。尽管种类繁多，数独变体仍保持着共同且紧凑的结构，从而能够进行清晰一致的评估。Sudoku-Bench 包含一套精心挑选的谜题集、一种标准化的基于文本的谜题表示法，以及与数千个公开可用谜题兼容的灵活工具——使其易于扩展为一个通用的研究环境。基线实验表明，最先进的大语言模型在无辅助的情况下能解出的谜题不到 15%，这突显了在提升长期战略推理能力方面的重大机遇。
引用
@article{arxiv.2505.16135,
title = {Sudoku-Bench: Evaluating creative reasoning with Sudoku variants},
author = {Jeffrey Seely and Yuki Imajuku and Tianyu Zhao and Edoardo Cetin and Llion Jones},
journal= {arXiv preprint arXiv:2505.16135},
year = {2025}
}