Chess-World-Model：基于棋局移动序列的1000万游戏精确状态跟踪基准

世界模型需要状态跟踪，即在动作序列中保持正确潜状态的能力。现有的基准通常是人造的或基于语言的，这限制了其作为结构化状态更新在现实域测试的价值。我们引入Chess-World-Model，一个由1000万盘真实棋局构建的大规模状态跟踪基准，模型预测动作序列后到达的确切棋盘状态。除包含held-out真实游戏split外，我们还包括来自均匀随机合法棋谱的out-of-distribution split，这测试了模型是否学习转移规则而非从常见人类位置中获取捷径。现有的理论和实证工作表明，Transformer在状态跟踪方面存在困难，而输入依赖的线性RNN需要具备表达力的状态转换矩阵才能实现此目的。因此，我们对照因果Transformer、块对角SLiCE、Mamba-3和带负特征值的Gated DeltaNet在匹配的界面和训练协议下进行基准测试。 recurrent模型在300万和800万参数规模下均显著优于Transformer。真实游戏性能在1800万参数以上饱和，但随机均匀split在4000万参数规模下仍保持判别性，暴露了规模 otherwise concealed的失败。此外，ablation实验表明，较不具备表达力的状态转换机制会降低所有三个recurrent模型在out-of-distribution split上的性能。总体而言，这些结果将Chess-World-Model确立为能够暴露模型规模otherwise concealed失败的实用大规模状态跟踪基准。