中文

支持 AI 红队测试人类基础设施的有效自动化

计算机与社会 2025-03-31 v1 人机交互

摘要

随着人工智能(AI)系统日益嵌入关键社会功能,针对 AI 系统的鲁棒红队测试方法的需求持续增长。本篇论文为一篇论坛文章,我们审视了自动化 AI 红队测试的新兴方法,特别关注自动化方法如何影响人类驱动的测试工作。我们讨论了自动化红队测试过程中劳动的作用、自动化的优势与局限,以及其对 AI 安全和劳动实践的更广泛影响。我们借助现有框架和案例研究,主张采用一种平衡的方法,将人类专业知识与自动化工具相结合,以强化 AI 风险评估。最后,我们概述了在扩大自动化红队测试规模方面的关键挑战,包括关于 worker 熟练程度、主体性和情境感知的考量。

关键词

引用

@article{arxiv.2503.22116,
  title  = {Effective Automation to Support the Human Infrastructure in AI Red Teaming},
  author = {Alice Qian Zhang and Jina Suh and Mary L. Gray and Hong Shen},
  journal= {arXiv preprint arXiv:2503.22116},
  year   = {2025}
}

备注

This piece has been accepted to the ACM Interactions Publication Tech Labor Forum For August 2025