基于上下文学习的数学选择题干扰项与反馈自动生成
计算与语言
2024-01-12 v2
摘要
选择题（MCQ）几乎在所有教育阶段都无处不在，因为它们易于实施、评分，并且是一种可靠的评估形式。MCQ 的一个重要方面是干扰项，即旨在针对学生特定误解或知识不足而设计的错误选项。迄今为止，制作高质量干扰项在很大程度上仍是教师和学习内容设计者的劳动密集型工作，限制了可扩展性。本文中，我们探索利用大语言模型在数学 MCQ 中自动生成干扰项及相应反馈消息的任务。我们建立了这两个任务的表述并提出了一种简单的、基于上下文学习的解决方案。此外，我们提出了基于生成式 AI 的用于评估反馈消息质量的指标。我们使用真实世界的 MCQ 数据集在这些任务上进行了大量实验。我们的发现表明，在自动干扰项与反馈生成方面仍有很大改进空间；基于这些发现，我们概述了未来工作的若干方向。
引用
@article{arxiv.2308.03234,
title = {Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning},
author = {Hunter McNichols and Wanyong Feng and Jaewook Lee and Alexander Scarlatos and Digory Smith and Simon Woodhead and Andrew Lan},
journal= {arXiv preprint arXiv:2308.03234},
year = {2024}
}
备注
NeurlIPS 2023 GAIED Workshop Version