PuzzleJAX：推理与学习的基准测试

我们提出了 PuzzleJAX，一个 GPU 加速的解谜游戏引擎和描述语言，旨在支持对树搜索、强化学习和大语言模型推理能力的快速基准测试。与现有的 GPU 加速学习环境提供固定游戏集合的硬编码实现不同，PuzzleJAX 允许对其领域特定语言（DSL）中可表达的任意游戏进行动态编译。该 DSL 遵循 PuzzleScript，这是一个用于设计解谜游戏的流行且易用的在线游戏引擎。在本文中，我们验证了 PuzzleJAX 中数百个自 2013 年发布以来由专业设计师和普通创作者设计的 PuzzleScript 游戏，从而证明了 PuzzleJAX 覆盖了广泛、表达力强且与人类相关的任务空间。通过分析搜索、学习和语言模型在这些游戏上的表现，我们表明 PuzzleJAX 能够自然地表达既简单直观又极具挑战性的任务，需要控制、规划与高层洞察的结合。