审计缺失值填补对高等教育预测分析公平性的影响
计算机与社会
2023-01-02 v2 机器学习
摘要
高校以多种方式使用预测分析以提升学生成功率。尽管预测分析具备潜力，其高等教育采纳仍面临两大障碍：(a) 部署的民主化缺失，与 (b) 加剧不平等的可能。教育研究者与政策制定者在实践中部署预测建模时遭遇诸多挑战。这些挑战出现于建模的不同步骤，包括数据准备、模型开发与评估。然而，若执行不当，上述每一步均可能向系统引入额外偏差。多数大规模且具有全国代表性的教育数据集存在研究对象大量不完整应答的问题。尽管诸多教育相关研究探讨了缺失数据的挑战，但关于实践中缺失值处理对预测结果公平性的影响仍知之甚少。本文中，我们首先评估高校学生成功预测建模结果中的差异，继而使用一组常用指标考察填补技术对模型性能与公平性的影响。我们开展前瞻性评估，以提供比历史数据评估偏差更小的未来性能与公平性估计。我们对真实大规模教育数据集的综合分析揭示了建模差异的关键见解，以及不同测试场景下填补技术如何影响学生成功预测结果的公平性。结果表明，若测试集遵循历史分布，填补会引入偏差。然而，若社会不公得以消解且随之而来的观测批次趋于均等，模型偏差将减小。
引用
@article{arxiv.2109.07908,
title = {Auditing the Imputation Effect on Fairness of Predictive Analytics in Higher Education},
author = {Hadis Anahideh and Parian Haghighat and Nazanin Nezami and Denisa G`andara},
journal= {arXiv preprint arXiv:2109.07908},
year = {2023}
}