SuperCLUE-Math6：面向中文大语言模型的分级多步数学推理基准
计算与语言
2024-02-05 v2 人工智能
摘要
我们介绍了SuperCLUE-Math6（SC-Math6），这是一个用于评估中文语言模型数学推理能力的新基准数据集。SC-Math6被设计为GSM8K数据集的升级中文版本，具有更高的难度、多样性和应用范围。它包含2000多个需要多步推理并提供自然语言解的数学应用题。我们提出了一种创新方案，基于模型在不同推理步骤问题上的表现来量化大模型的推理能力。在13个代表性中文模型上的实验表明，推理水平存在明显的分层，GPT-4等顶级模型表现出优越的性能。SC-Math6填补了中文数学推理基准的空白，并提供了一个全面的测试平台，以提升中文语言模型的智能水平。
引用
@article{arxiv.2401.11819,
title = {SuperCLUE-Math6: Graded Multi-Step Math Reasoning Benchmark for LLMs in Chinese},
author = {Liang Xu and Hang Xue and Lei Zhu and Kangkang Zhao},
journal= {arXiv preprint arXiv:2401.11819},
year = {2024}
}
备注
Dataset revised and finalized, results updated with new model; 8 pages, 7 figures, 4 tables