模型是否“MADD”？一种评估预测性学生模型算法公平性的新度量

预测性学生模型因其能提升教育成效并支持利益相关者做出明智决策，正日益用于学习环境中。然而，预测模型可能存在偏差并产生不公平结果，导致部分学生受到潜在歧视及可能的长期有害影响。这促使了旨在捕捉并量化此类偏差的公平性度量的研究。尽管如此，迄今教育中使用的现有公平性度量以预测性能为导向，聚焦于评估跨学生群体的偏差结果，而未考虑模型行为及结果中偏差的严重程度。因此，我们提出一种新度量——模型绝对密度距离（MADD），以独立于预测性能来分析模型的歧视性行为。我们还提供配套的基于可视化的分析，以便对人类细粒度评估模型如何在不同学生群体间歧视。我们在预测在线课程中学生成功的常见任务上评估我们的方法，使用开放教育数据集上的若干常见预测分类模型。我们还将我们的度量与教育中开发的唯一预测性能导向公平性度量ABROCA进行比较。该数据集上的结果表明：（1）公平的预测性能并不保证公平的模型行为从而公平的结果；（2）数据偏差与预测性能偏差及歧视性行为偏差间无直接关系；（3）在相同数据上训练，模型依据不同敏感特征也表现出不同歧视性行为。因此我们建议在展现满意预测性能的模型上使用MADD，以更细粒度理解其行为并优化模型选择及其使用。