面向第三方 AI 系统保障：设计要求、原型与早期测试
计算机与社会
2026-02-02 v1
摘要
随着人工智能 (AI) 系统的普及，需求不断增长，以系统性、透明和可操作的方式进行评估。虽然已有许多资源支持 AI 评估，但存在若干局限。很少有资源同时涵盖设计、开发和部署 AI 系统的过程以及其产生的结果。此外，很少有资源是端到端的且具有操作性，缺乏可行性或实际有效性的证据。在本文中，我们引入了第三方 AI 保障框架，以解决上述问题。我们专注于第三方保障，以防止利益冲突并确保过程的可信度和问责性。我们首先在几个关键维度上区分了保障与审计。随后，遵循设计原则，我们反思现有资源的不足之处，确定了 AI 保障的设计要求。我们然后构建了一个保障过程原型，包括 (1) 责任分配矩阵，用于确定每个利益相关方在 AI 生命周期各阶段的不同参与程度；(2) 每个 AI 系统利益相关方的访谈协议；(3) 用于评估 AI 系统是否遵循最佳实践的成熟度矩阵；以及 (4) 吸收企业会计中更成熟保障实践的保障报告模板。我们对 AI 保障框架进行早期验证，通过将框架应用于两个不同的 AI 用例——一个面向大型私营企业用于下游处理的文件标签工具，以及面向公共机构的住房资源分配工具——并进行专家验证访谈。我们的发现表明，AI 保障框架在早期证据显示其是 sound and comprehensive 的，适用于不同组织背景，且有效识别 AI 系统的定制问题。
引用
@article{arxiv.2601.22424,
title = {Toward Third-Party Assurance of AI Systems: Design Requirements, Prototype, and Early Testing},
author = {Rachel M. Kim and Blaine Kuehnert and Alice Lai and Kenneth Holstein and Hoda Heidari and Rayid Ghani},
journal= {arXiv preprint arXiv:2601.22424},
year = {2026}
}
备注
58 pages, 1 figure