用于评估与开发英文数学应用题求解器的多样化语料库
人工智能
2021-07-01 v1 计算与语言
摘要
我们提出 ASDiv（中央研究院多样化数学应用题数据集，Academia Sinica Diverse MWP Dataset），这是一个在语言模式和问题类型上均具多样性的英文数学应用题（MWP）语料库，用于评估各类 MWP 求解器的能力。现有用于研究 AI 进展的 MWP 语料库在语言使用模式或问题类型上仍有限制。因此我们提出一个包含 2,305 道 MWP 的新英文 MWP 语料库，其涵盖更多文本模式以及小学所教的大多数问题类型。每道 MWP 均标注了问题类型和年级水平（用以指示难度等级）。此外，我们提出一种度量方法来衡量给定 MWP 语料库的词汇使用多样性，并证明 ASDiv 比现有语料库更具多样性。实验表明，我们提出的语料库能更忠实地反映 MWP 求解器的真实能力。
引用
@article{arxiv.2106.15772,
title = {A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers},
author = {Shen-Yun Miao and Chao-Chun Liang and Keh-Yih Su},
journal= {arXiv preprint arXiv:2106.15772},
year = {2021}
}
备注
ACL-2020