审计工作：探索纽约市算法偏见审计制度
计算机与社会
2024-02-14 v1
摘要
2023 年 7 月，纽约市（NYC）启动了首个针对商业机器学习系统的算法审计系统。地方法律 144 号（LL 144）强制要求纽约市基于雇佣目的使用自动化就业决策工具（AEDTs）的雇主，每年接受由独立审计员进行的偏见审计。本文探讨了 LL 144 为其他国家级算法审计尝试提供的经验教训。通过对该制度内的 16 位专家和实践者进行定性访谈，我们发现 LL 144 并未有效建立审计制度。该法律未能清晰定义关键方面，如 AEDTs 和独立审计员，导致审计员、AEDT 供应商和使用 AEDT 的公司以未能保护求职者的方式定义了法律的实际实施。促成因素包括该法律基于透明度的变革理论存在缺陷、行业游说缩小了 AEDTs 的定义、审计员在获取数据方面面临的实际和文化挑战，以及对何为合法审计员的广泛分歧，从而产生了四种不同的“审计员角色”。我们最后向寻求创建类似偏见审计制度的政策制定者提出了四项建议，强调更清晰的定义、指标和增强的问责制。通过从审计员的视角探讨 LL 144，本文推进了关于审计作为问责机制的证据基础，为寻求创建类似制度的政策制定者提供了指导。
引用
@article{arxiv.2402.08101,
title = {Auditing Work: Exploring the New York City algorithmic bias audit regime},
author = {Lara Groves and Jacob Metcalf and Alayna Kennedy and Briana Vecchione and Andrew Strait},
journal= {arXiv preprint arXiv:2402.08101},
year = {2024}
}
备注
15 pages