已部署机器学习流水线中机构风险模型的公平性审计
计算机与社会
2026-04-22 v1 人工智能
人机交互
摘要
机构风险模型的公平性审计对于理解已部署的机器学习流水线如何分配资源至关重要。基于与 Centennial College 的多年合作（我们先前的人种志工作引入了 ASP-HEI 周期），我们对已部署的早期预警系统（EWS）进行了基于复制的审计，利用机构训练数据和设计规范复现了其模型。我们使用标准公平性指标评估了整个流水线（训练数据、模型预测和后处理）中按性别、年龄和居住身份的差异性。我们的审计揭示了系统性的错误分配：较年轻、男性和国际学生被不成比例地标记为需要支持，即使其中许多人最终取得了成功，而具有相当辍学风险的较年长和女性学生则被漏识别。后处理通过将异构概率折叠为基于百分位的风险等级而加剧了这些差异。这项工作提供了一种可复制的审计机构机器学习系统的方法论，并展示了差异如何跨阶段出现和累积，突显了在统计公平性之外评估构念效度的重要性。它为更广泛的调查高等教育中算法、学生数据和权力的研究计划提供了一条实证线索。
引用
@article{arxiv.2604.19468,
title = {Fairness Audits of Institutional Risk Models in Deployed ML Pipelines},
author = {Kelly McConvey and Dipto Das and Maya Ghai and Angelina Zhai and Rosa Lee and Shion Guha},
journal= {arXiv preprint arXiv:2604.19468},
year = {2026}
}