一模型多分数:使用多宇宙分析防止公平性黑客攻击并评估模型设计决策的影响
机器学习
2024-06-21 v3 机器学习
摘要
全球大量系统使用算法决策(ADM)来(部分)自动化先前由人类做出的决策。ADM 系统的下游效应关键取决于系统在设计、实现和评估过程中所做的决策,因为数据中的偏差可沿建模流程被缓解或强化。这些决策中有许多是隐式做出的,而不知它们将如何影响最终系统。为研究此问题,我们借鉴心理学领域的见解并引入算法公平性的多宇宙分析方法。在我们提出的方法中,我们将设计与评估过程中的隐式决策转为显式,并展示其公平性影响。通过组合决策,我们创建了所有可行决策组合的“宇宙”网格。对于其中每个宇宙,我们计算公平性与性能指标。利用所得数据集,可以考察公平性分数的变异性与稳健性,并看清决策如何以及哪些决策影响公平性。我们使用一个预测弱势人群公共医疗保健覆盖的示例案例研究,展示了多宇宙分析如何用于更好地理解设计与评估决策的公平性含义。我们的结果凸显了关于系统评估的决策如何导致同一模型出现截然不同的公平性度量。这是有问题的,因为恶意行为者可能通过仅仅改变评估方式来优化或“黑客”某个公平性度量,从而将一个歧视性模型描绘为公平。我们阐释了多宇宙分析如何帮助解决此问题。
引用
@article{arxiv.2308.16681,
title = {One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions},
author = {Jan Simson and Florian Pfisterer and Christoph Kern},
journal= {arXiv preprint arXiv:2308.16681},
year = {2024}
}