从透明度到问责制再回到透明度：AI审计中的访问与证据讨论

人工智能(AI)正越来越多地介入我们的生活,引发了对其意外和未声明副作用的广泛担忧。这些发展引起了人们对AI审计问题的关注:即根据一组预定标准,对AI系统、其开发及其行为进行系统评估和分析。审计可以采取多种形式,包括部署前风险评估、持续监控和合规性测试。它在为从开发者到最终用户的各类AI利益相关者提供保证方面发挥着关键作用。例如,审计可用于验证算法是否符合法律、与行业标准一致,并满足开发者声称的规格。然而,AI审计存在许多操作挑战,使其实施复杂化。在这项工作中,我们研究了AI审计中的一个关键操作问题:执行有意义的审计需要对AI系统进行何种类型的访问?解决这个问题具有直接的政策相关性,因为它可以为AI审计指南和要求提供信息。我们首先讨论了审计员在确定适当访问类型时权衡的因素,并揭示了四种访问类型的优缺点。我们得出结论,至少应授予审计员黑盒访问权限——提供对模型的查询访问而不暴露其内部实现——因为它平衡了与商业秘密、数据隐私、审计标准化和审计效率相关的担忧。然后,我们提出了一个框架,用于确定授予审计员多少进一步的访问权限(除了黑盒访问之外)。我们表明,审计可以被视为一个自然的假设检验,将假设检验与法律程序进行类比,并论证这种框架为审计实施提供了清晰且可解释的指导。