机器学习模型训练期间对高绩效少数群体的过采样轻微降低不利影响但亦降低模型准确率
机器学习
2023-06-30 v1 人工智能
计算机与社会
摘要
各组织正越来越多地采用机器学习(ML)进行人员评估。然而，在设计和实施ML评估时存在关于公平性的担忧。监督式ML模型被训练以对数据中的模式进行建模，这意味着ML模型倾向于产生反映训练数据中申请者属性的子群体差异的预测，而不论子群体差异的潜在原因是什么。在本研究中，我们系统地欠采样和过采样少数群体(黑人和西班牙裔)申请者，以操纵训练数据中的不利影响比率，并研究训练数据不利影响比率如何影响ML模型的不利影响和准确率。我们使用求职者的自我报告和面试记录(N = 2,501)训练了9,702个ML模型来预测筛选决策。我们发现训练数据不利影响与ML模型不利影响呈线性关系。然而，消除训练数据中的不利影响仅略微降低了ML模型的不利影响，且往往对ML模型准确率产生负面影响。无论是在自我报告还是面试记录中，无论是过采样真实(即自助法)还是合成的观测值，我们都观察到一致的效果。由于我们的研究依赖于来自单一组织的有限预测变量集，因此对于更准确的ML模型，所观察到的不利影响可能会减弱。
引用
@article{arxiv.2304.13933,
title = {Oversampling Higher-Performing Minorities During Machine Learning Model Training Reduces Adverse Impact Slightly but Also Reduces Model Accuracy},
author = {Louis Hickman and Jason Kuruzovich and Vincent Ng and Kofi Arhin and Danielle Wilson},
journal= {arXiv preprint arXiv:2304.13933},
year = {2023}
}
备注
forthcoming in Personnel Psychology 2 figures