基于神经可解释模型的可解释自动评分

自动短答案评分（ASAG）模型的使用可能有助于减轻评分负担，同时鼓励教育者频繁在课程中纳入开放性题目。然而，当前最先进的ASAG模型是大型神经网络（NN），常被描述为“黑箱”，无法解释输入特征对生成输出的重要性。这种不可解释的性质在尝试解释或从自动生成的成绩中学习时，对教师和学生来说可能令人沮丧。为创建既强大又可理解的ASAG模型，我们实验了一种称为神经可解释模型（Neural Additive Model, NAM）的模型类型，它结合了神经网络的性能与可加模型的可解释性。我们使用学习科学中的知识集成（Knowledge Integration, KI）框架指导特征工程，以创建反映学生是否在其响应中包含某些想法的输入。我们假设，将包含（或不包含）预定义想法的特征指示作为特征，足以使NAM具有良好的预测性能和可解释性，因为这可能指导人类评分者使用KI评分标准。我们将NAM的性能与另一种可解释模型——逻辑回归进行比较，二者使用相同的特征；以及与一种非可解释神经模型——DeBERTa进行比较，后者不需要特征工程。