Ranking Reasoning LLMs under Test-Time Scaling

Test-time scaling 通过对每个提示抽取多个输出来评估推理 LLM，但在此情境下对模型进行排名的工作仍属未充分探索。我们形式化了在测试时扩展下进行稠密基准排名的任务，引入 Scorio 库，实现包括配对比较模型、项目反应理论 (IRT) 模型、投票规则和基于图谱和谱的方法等统计排名方法。我们在四个奥林匹克数学基准 (AIME'24, AIME'25, HMMT'25, 和 BrUMO'25; 最多 $N=80$ 次试验) 上对 20 个推理模型进行测试，大多数完整试验排名与贝叶斯金标准 $\mathrm{Bayes}_{\mathcal{U}}@80$ 高度吻合（平均 Kendall's $\tau_b = 0.93$--$0.95$），且 19--$34$ 个方法恢复了完全相同的排序。在单次试验情境下，最佳方法可达 $\tau_b \approx 0.86$。使用贪婪解码作为经验先验 ($\mathrm{Bayes}_{\mathbf{R}_0}@N$) 可在 $N=1$ 时将方差降低 $16$--$52\%$，但当贪婪与随机抽样不一致时可能引入排序偏差。这些结果确定了针对高预算和低预算测试时扩展的可靠排名方法。我们将 Scorio 作为开源库发布于 https://github.com/mohsenhariri/scorio。