空间能力基准测试

空间能力是维持环境一致内部表征，并利用该表征推断离散结构以及在约束条件下规划行动的质量。当前对大型模型的空间评估局限于通过3D变换或视觉问答来探测孤立的基元。我们引入了空间能力基准测试（SCBench），它涵盖了三个层次的能力桶，其任务需要由确定性检查器或基于模拟器的评估器验证的可执行输出。在SCBench上，三个前沿模型在能力阶梯上表现出单调递减的准确率。扫描输出令牌上限显示，准确率提升集中在低预算下，并迅速饱和，而失败主要由违反全局约束的局部合理几何结构主导。我们发布了任务生成器、验证器和可视化工具。