SPaRC：空间路径推理挑战
人工智能
2025-09-22 v2 计算与语言
摘要
现有的推理数据集已饱和，无法测试抽象的、多步骤的问题，特别是路径规划和复杂规则约束满足问题。我们引入 SPaRC（Spatial Pathfinding Reasoning Challenge），这是一个包含 1,000 个 2D 网格路径规划谜题的数据集，用于评估空间和符号推理，要求对涉及算术和几何规则的步骤进行规划。人类实现近乎完美的准确率（98.0%；在难题中为 94.5%），而最佳推理模型，如 o4-mini，则捉襟见肘（15.8%；在难题中为 1.1%）。模型常常生成无效路径（o4-mini 的谜题中超过 50%），且推理标记揭示了它们在导航和空间逻辑方面的错误。与人类不同，后者在难题中耗时更长，而模型未能随难度增加而扩展测试时计算。允许模型进行多次解决方案尝试可提高准确率，表明通过改进训练和高效测试时扩展方法有望实现更好的空间推理。SPaRC 可作为模型空间推理局限性的窗口，并推动研究新方法在抽象、多步骤问题解决中大显身手。
引用
@article{arxiv.2505.16686,
title = {SPaRC: A Spatial Pathfinding Reasoning Challenge},
author = {Lars Benedikt Kaesberg and Jan Philip Wahle and Terry Ruas and Bela Gipp},
journal= {arXiv preprint arXiv:2505.16686},
year = {2025}
}
备注
Accepted at EMNLP 2025 (Main)