EasyMath：面向小型语言模型的0-shot数学基准
计算与语言
2025-05-22 v1 人工智能
机器学习
摘要
EasyMath 是一个面向小型语言模型的紧凑型数学基准，涵盖十三个类别，从基本算术和运算顺序到 word problems、代数表达式、边缘案例，遗漏专业主题。我们测试了23个模型（参数规模从14M到4B），使用 exact、numerical 和 symbolic 检查对 free-form answers 进行零样本评估。准确率随模型规模和训练水平提升，链式思考带来的提升有限，规模越大一致性越好。
引用
@article{arxiv.2505.14852,
title = {EasyMath: A 0-shot Math Benchmark for SLMs},
author = {Drishya Karki and Michiel Kamphuis and Angelecia Frey},
journal= {arXiv preprint arXiv:2505.14852},
year = {2025}
}
备注
17 pages, 9 figures, 8 tables