数学自然语言推理：这真的应该很简单！
计算与语言
2025-08-01 v1
摘要
我们探讨了当代大语言模型 (LLMs) 能否在数学文本上执行自然语言推理 (NLI) 任务。我们称之为 Math NLI 问题。我们构建了一个 Math NLI 语料库，其 premise 来自现有的数学文本，而 hypothesis 与 gold labels 则由具备研究级数学和 NLI 领域经验的人士提供。我们还研究了使用相同 premise，但 hypothesis 由 LLM 提供的语料库质量。我们不仅探讨了各类 LLM 的性能，也考察了其在跨组一致性方面的表现。我们既有积极也有消极的发现。在积极方面：在某些情境下，LLM 投表决机制在 Math NLI 领域约等于使用人工标注数据。在消极方面：LLM 在数学语言推理中仍存在挑战。它们有时甚至在基本推理上会失败。当前模型在本数据集中不像以往那样容易出现仅凭 hypothesis 的“推理”现象。除上述发现外，我们还提供了我们的语料库作为数据支持未来在 Math NLI 领域的工作。
引用
@article{arxiv.2507.23063,
title = {Math Natural Language Inference: this should be easy!},
author = {Valeria de Paiva and Qiyue Gao and Hai Hu and Pavel Kovalev and Yikang Liu and Lawrence S. Moss and Zhiheng Qian},
journal= {arXiv preprint arXiv:2507.23063},
year = {2025}
}
备注
9 pages plus appendices