黑盒访问不足以进行严格的AI审计
计算机与社会
2024-06-11 v3 人工智能
密码学与安全
摘要
对人工智能系统的外部审计日益被视为AI治理的关键机制。然而，审计的有效性取决于授予审计员的访问程度。近期对最先进AI系统的审计主要依赖黑盒访问，审计员只能查询系统并观察其输出。然而，对系统内部运作（如权重、激活、梯度）的白盒访问允许审计员执行更强的攻击、更彻底地解释模型并进行微调。同时，对训练和部署信息（如方法论、代码、文档、数据、部署细节、内部评估结果）的盒外访问允许审计员审查开发过程并设计更有针对性的评估。在本文中，我们审视了黑盒审计的局限性以及白盒和盒外审计的优势。我们还讨论了以最小安全风险执行这些审计的技术、物理和法律保障措施。鉴于不同形式的访问可能导致截然不同的评估水平，我们得出结论：(1) 审计人员所使用的访问权限和方法的透明度对于正确解释审计结果是必要的，并且 (2) 白盒和盒外访问相比仅黑盒访问，允许进行更深入的审查。
引用
@article{arxiv.2401.14446,
title = {Black-Box Access is Insufficient for Rigorous AI Audits},
author = {Stephen Casper and Carson Ezell and Charlotte Siegmann and Noam Kolt and Taylor Lynn Curtis and Benjamin Bucknall and Andreas Haupt and Kevin Wei and Jérémy Scheurer and Marius Hobbhahn and Lee Sharkey and Satyapriya Krishna and Marvin Von Hagen and Silas Alberti and Alan Chan and Qinyi Sun and Michael Gerovitch and David Bau and Max Tegmark and David Krueger and Dylan Hadfield-Menell},
journal= {arXiv preprint arXiv:2401.14446},
year = {2024}
}
备注
FAccT 2024