通过学生选择预测生成合情不合的干扰项

在设计多项选择题（MCQs）时，创造合情不合的干扰项至关重要，这有助于识别学生的误解和知识缺口，准确评估其理解水平。然而，既有研究在增强干扰项难度方面不够关注，导致干扰项效果下降。本研究提出了一套训练模型以生成更可能被学生选择的干扰项的管道。首先，我们训练一个两两排序器来推理学生的误解，评估两个干扰项的相对合情性。借助该模型，我们创建了一个两两干扰项排序数据集，然后通过直接偏好优化（DPO）训练干扰项生成器，以生成更合情的干扰项。在计算机科学领域（Python、数据库、机器学习深度学习）的实验表明，我们的两两排序器有效识别学生潜在的误解，排序准确率与人类专家相当。此外，我们的干扰项生成器在生成合情干扰项方面超越了多个基线方法，并产生的题目在项目区分指数（DI）上更高。