谁来审计审计者？基于算法审计生态田野调查的建议
计算机与社会
2023-10-05 v1
摘要
AI审计作为一种日益流行的算法问责机制，然而其定义仍不清晰。在缺乏对审计实践明确理解，更毋庸说广泛使用的标准或监管指导的情况下，声称某AI产品或系统已通过第一方、第二方或第三方审计者审计的说法难以核实，且可能加剧而非缓解偏见与危害。为弥补这一知识缺口，我们提供了首个对AI审计生态的全面田野调查。我们分享了一份从事算法审计或其工作与算法审计直接相关的个人（N=438）与组织（N=189）名录；对该群体进行了匿名调查（N=152）；并访谈了行业领袖（N=10）。我们识别了新兴最佳实践以及正变得常见的方法与工具，并列举了将算法审计作为有效问责机制时所面临的常见障碍。我们提出了改善这些审计质量与影响的政策建议，并突出了获算法审计者广泛支持的建议以及存在争议之处。我们的建议对立法者、监管者、公司内部政策制定者、标准制定机构以及审计者均具意义。它们为：1）要求AI系统的所有者与运营者依据明确定义的标准开展独立的算法审计；2）当个人受到算法决策系统影响时予以通知；3）强制披露审计发现的关键组成部分以供同行评审；4）在审计过程中考量现实危害，包括通过标准化的危害事件报告与响应机制；5）让最易受AI系统危害的利益相关者直接参与算法审计过程；6）对算法审计者进行 formalized 评估并可能予以认证。
引用
@article{arxiv.2310.02521,
title = {Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem},
author = {Sasha Costanza-Chock and Emma Harvey and Inioluwa Deborah Raji and Martha Czernuszenko and Joy Buolamwini},
journal= {arXiv preprint arXiv:2310.02521},
year = {2023}
}
备注
20 pages, 2 figures. Published in the Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT '22)