中文

面向教育模型的跨机构迁移学习:对模型性能、公平性与公平性的启示

机器学习 2023-05-02 v1 计算机与社会

摘要

现代机器学习日益支持多机构(训练期间使用来自多个机构的数据)或跨机构(使用来自多个机构的模型进行推理)范式,但这些范式的实证效应尚不明晰。本研究通过高等教育中的实证案例研究考察跨机构学习。我们提出一种框架与度量指标,用于评估跨机构迁移的学生辍学预测模型的效用与公平性。我们考察了在现实数据与模型共享约束下的跨机构迁移可行性,量化了交叉性学生身份的模型偏差,刻画了由这些偏差导致的潜在差异影响,并研究了多种跨机构集成方法对公平性与整体模型性能的影响。我们在代表四所大学每年逾 200,000 名注册学生的数据上开展分析,且机构间不共享训练数据。我们发现,简单的零样本跨机构迁移过程可取得与本地训练模型相当的性能,且不牺牲模型公平性。我们还发现,相较于本地模型或我们所测试的零样本迁移过程,堆叠集成未带来整体性能或公平性的额外收益。在数十种模型与迁移方案评估中,我们未发现准确性—公平性权衡的证据。我们的审计流程亦凸显了交叉性公平分析的重要性,揭示了在敏感身份群体交叉处被一维分析所掩盖的性能差异。

关键词

引用

@article{arxiv.2305.00927,
  title  = {Cross-Institutional Transfer Learning for Educational Models: Implications for Model Performance, Fairness, and Equity},
  author = {Josh Gardner and Renzhe Yu and Quan Nguyen and Christopher Brooks and Rene Kizilcec},
  journal= {arXiv preprint arXiv:2305.00927},
  year   = {2023}
}

备注

Code to reproduce our experiments is available at https://github.com/educational-technology-collective/cross-institutional-transfer-learning-facct-2023