AI 红队测试是一项社会技术问题：关于价值观、劳动与伤害的探讨
计算机与社会
2026-01-09 v3 人工智能
人机交互
摘要
随着生成式 AI 技术在日益增多的实际应用中发挥作用，测试其性能和安全性的重要性显而立见。“红队测试”迅速成为测试 AI 模型的主要方法——被 AI 公司优先采纳，并被写入 AI 政策和法规之中。红队成员作为对手行动，探测 AI 系统的安全机制并揭示其漏洞。然而，我们对这项工作及其影响了解得太少。本文呼吁计算机科学家与社会科学家合作，研究围绕 AI 技术的社会技术系统，包括红队测试工作，以避免重蹈近期过去的错误。我们强调，理解红队测试背后的价值观和假设、劳动安排，以及红队成员的心理影响至关重要，借鉴内容审查工作中所学的经验。
引用
@article{arxiv.2412.09751,
title = {AI red-teaming is a sociotechnical problem: on values, labor, and harms},
author = {Tarleton Gillespie and Ryland Shaw and Mary L. Gray and Jina Suh},
journal= {arXiv preprint arXiv:2412.09751},
year = {2026}
}
备注
10 pages