MSC-180：基于数学主题分类的自动形式定理证明基准
摘要
自动定理证明（ATP）是人工智能中实现形式推理与验证的核心研究方向，在推动机器智能方面发挥着重要作用。然而，当前的大型语言模型（LLM）基于定理证明器存在领域覆盖受限、数学推理泛化能力弱等局限性。为此，本文提出MSC-180，一个基于MSC2020数学主题分类构建的评估基准。该基准包含180个形式验证问题，涵盖60个数学分支的3个高级问题，涉及从本科生到研究生的水平。每个问题都经过多个领域专家的多轮验证和精炼，以确保形式准确性。评估显示，在pass@32设置下，最佳模型仅实现18.89%的整体通过率，其中存在显著的领域偏差（最大领域覆盖41.7%）和难度差距（研究生水平问题通过率显著低于本科水平）。为量化跨数学领域的性能变异性，本文引入变异系数（CV）作为评估指标。观察到的CV值是统计高变异阈值的4-6倍，表明模型仍依赖训练语料库中的模式匹配，而非具备可迁移的推理机制和系统化泛化能力。MSC-180及其多维评估框架为推动下一代具备真正数学推理能力的AI系统发展提供了具判别性和系统性的基准。
引用
@article{arxiv.2512.18255,
title = {Central Limit Theorem for ergodic averages of Markov chains \& the comparison of sampling algorithms for heavy-tailed distributions},
author = {Miha Brešar and Aleksandar Mijatović and Gareth Roberts},
journal= {arXiv preprint arXiv:2512.18255},
year = {2025}
}
备注
71 pages, 5 figures, short YouTube presentation describes our theory and its applications to unadjusted (ULA-type) algorithms with increments of finite and infinite variance (see \href{https://youtu.be/m2y7U4cEqy4}{Part~I}); \href{https://youtu.be/w8I_oOweuko}{Part~II} of the presentation discusses the application of our theory to unbiased MCMC algorithms