解释数学应用题求解器
计算与语言
2023-07-26 v1
摘要
基于神经网络的自动化数学应用题求解器已成功在算术应用题求解中取得 70-80% 的准确率。然而，已有研究表明这些求解器可能依赖表层模式来得出方程。为了确定数学应用题求解器使用哪些信息来生成解，我们移除输入的某些部分，并测量模型在扰动数据集上的性能。我们的结果表明，模型对输入中许多词语的移除并不敏感，并且在给定无意义问题时仍能找到正确答案。这表明自动求解器并未遵循数学应用题的语义逻辑，并可能对特定词语的出现过拟合。
引用
@article{arxiv.2307.13128,
title = {Explaining Math Word Problem Solvers},
author = {Abby Newcomb and Jugal Kalita},
journal= {arXiv preprint arXiv:2307.13128},
year = {2023}
}