Conic10K：一个具有挑战性的数学问题理解与推理数据集
计算与语言
2023-11-10 v1
摘要
数学理解与推理是评估人工智能（AI）能力的关键任务。然而，现有基准要么只需极少步推理，要么仅包含某一特定主题下的少量数据，难以针对特定主题内不同问题详细分析 AI 的行为。在本文中，我们提出 Conic10K，一个关于中国高中教育中圆锥曲线的具有挑战性的数学问题数据集。我们的数据集包含具有不同推理深度的各类问题，而仅需要圆锥曲线相关知识。由于该数据集仅涉及较窄的知识范围，易于分别分析模型所掌握的知识与其具备的推理能力。对于每个问题，我们提供高质量的形式化表示、推理步骤及最终解。实验表明，包括 GPT-4 在内的现有大语言模型在复杂推理上表现薄弱。我们希望我们的发现能启发更先进的精确自然语言理解与推理技术。我们的数据集与代码见 https://github.com/whyNLP/Conic10K。
引用
@article{arxiv.2311.05113,
title = {Conic10K: A Challenging Math Problem Understanding and Reasoning Dataset},
author = {Haoyi Wu and Wenyang Hui and Yezeng Chen and Weiqi Wu and Kewei Tu and Yi Zhou},
journal= {arXiv preprint arXiv:2311.05113},
year = {2023}
}
备注
Accepted to EMNLP2023 Findings