利用过度生成与排序改进数学选择题的自动干扰项生成
计算机与社会
2024-05-15 v2 机器学习
摘要
选择题(MCQs)被广泛应用于各个层级的数学教育中,因为它们可以实现大规模的部署和评分。选择题的一个关键组成部分是干扰项,即为了反映学生的错误或误解而设计的错误答案。在数学选择题中自动生成干扰项(例如使用大型语言模型)一直是一项具有挑战性的任务。在这项工作中,我们提出了一种通过过度生成与排序来提高生成干扰项质量的新方法,该方法训练一个排序模型来预测真实学生选择干扰项的可能性。在真实世界数据集上的实验结果以及数学教师的人工评估表明,我们的排序模型提高了与人类编写干扰项的一致性,尽管人类编写的干扰项仍然优于生成的干扰项。
引用
@article{arxiv.2405.05144,
title = {Improving Automated Distractor Generation for Math Multiple-choice Questions with Overgenerate-and-rank},
author = {Alexander Scarlatos and Wanyong Feng and Digory Smith and Simon Woodhead and Andrew Lan},
journal= {arXiv preprint arXiv:2405.05144},
year = {2024}
}
备注
BEA workshop NAACL 2024