地方法律 144：对回归度量的批判性分析
机器学习
2023-02-09 v1 人工智能
摘要
招聘中自动化决策工具的使用已受到越来越多的关注。2021 年 11 月，纽约市议会通过了一项立法（地方法律 144），要求对自动化就业决策工具进行偏见审计。自 2023 年 4 月 15 日起，使用自动化工具进行招聘或员工晋升的公司须由独立实体对这些系统审计。审计者被要求计算比较不同群体结果的偏见度量，至少基于性别/社会性别与种族/民族类别。地方法律 144 为回归任务（自动化系统以连续值域对候选人打分的场景）提出了新颖的偏见度量。该立法前一版本提出了比较不同群体平均分数的偏见度量。新修订的偏见度量比较各群体中高于中位数候选人的比例。本文中，我们论证这两种度量均未能捕捉整个域上的分布差异，因而无法可靠地检测偏见。我们首先引入两种度量，作为对立法度量的可能替代。随后我们在一组理论示例上比较这些度量，立法所提度量似乎低估了偏见。最后，我们研究真实数据并表明立法度量在现实招聘应用中同样可能失效。
引用
@article{arxiv.2302.04119,
title = {Local Law 144: A Critical Analysis of Regression Metrics},
author = {Giulio Filippi and Sara Zannone and Airlie Hilliard and Adriano Koshiyama},
journal= {arXiv preprint arXiv:2302.04119},
year = {2023}
}
备注
12 pages, 5 figures