MathMist：面向数学问题求解与推理的平行多语言基准数据集
计算与语言
2026-01-27 v2
摘要
数学推理始终是大型语言模型（LLMs）最具挑战性的领域之一，要求不仅具备语言理解能力，还需具备结构化逻辑推理和数值精确度。虽然近期 LLMs 在通用推理方面表现出色，但其在多语言环境下的数学能力仍未得到充分探索。现有基准主要聚焦英文或狭窄的高资源语言，导致评估多语言和跨语言数学推理存在显著缺口。为此，我们引入 MATHMIST，这是一个用于数学问题求解与推理的平行多语言基准。MATHMIST 包含 2,890 组波兰语-英语金标准数据，涵盖约 30K 组跨十三种语言的对齐问答对，覆盖高、中、低资源语言环境。该数据集捕捉了语言多样性、多种问题场景以及解答合成能力。我们系统评估了多样化的模型，包括开源小型和中型 LLMs、专有系统以及面向多语言推理的模型，在零样本、链式思考（CoT）、扰动推理和代码切换推理等范式下进行测试。结果显示，LLMs 在跨语言间一致且可解释的数学推理能力仍存不足，尤其在低资源语言环境中表现显著下降。所有代码和数据已于 GitHub 提供：https://github.com/mahbubhimel/MathMist
引用
@article{arxiv.2510.14305,
title = {MathMist: A Parallel Multilingual Benchmark Dataset for Mathematical Problem Solving and Reasoning},
author = {Mahbub E Sobhani and Md. Faiyaz Abdullah Sayeedi and Tasnim Mohiuddin and Md Mofijul Islam and Swakkhar Shatabda},
journal= {arXiv preprint arXiv:2510.14305},
year = {2026}
}
备注
Accepted for publication in Findings of EACL 2026