FairPrep：将数据提升为公平性增强干预研究中的一等公民
机器学习
2019-12-02 v1 计算机与社会
数据库
机器学习
摘要
将伦理与法律合规纳入机器辅助决策的重要性已得到广泛认可。此外，近期若干研究指出，若不考虑模型训练与部署上游的生命周期阶段，便会错失改进数据质量与代表性、控制偏差以及让人类监督和影响计算过程的关键机会。然而，迄今为止极少有工作为希望开发和部署负责任机器学习方法的数据科学家提供系统级支持。我们旨在填补这一空白，提出 FairPrep，一个用于公平性增强干预的设计与评估框架。FairPrep 基于以开发者为中心的设计，帮助数据科学家遵循软件工程与机器学习的最佳实践。作为贡献的一部分，我们指出了现有分析公平性增强干预的实证研究中的缺陷。随后我们展示如何使用 FairPrep 来衡量合理最佳实践(如超参数调优与特征缩放)的影响。特别地，我们的结果表明，先前研究中观测到的公平性增强干预结果的高度变异性往往源于缺乏超参数调优的人为产物。此外，我们表明数据清洗方法的选择会影响公平性增强干预的有效性。
引用
@article{arxiv.1911.12587,
title = {FairPrep: Promoting Data to a First-Class Citizen in Studies on Fairness-Enhancing Interventions},
author = {Sebastian Schelter and Yuxuan He and Jatin Khilnani and Julia Stoyanovich},
journal= {arXiv preprint arXiv:1911.12587},
year = {2019}
}