从防火墙到前沿：AI 红队是网络红队的领域特定演进
机器学习
2025-09-16 v1 人工智能
密码学与安全
摘要
红队模拟对手攻击，以帮助防御者在真实操作环境中找到有效的防御策略。随着企业系统越来越多地采用人工智能，红队testing 将不得不演进以应对人工智能系统所特有的漏洞和风险。我们认为，若将 AI 红队testing 视为网络红队testing 的领域特定演进，AI 系统的防御将更为有效。具体而言，我们认为，采用这种框架的现有网络红队将能够更好地评估包含 AI 组件的系统，通过识别 AI 带来的新风险、新的失败模式以及常常不可修复的缺陷，从而重新排序披露和缓解策略。同样，采用网络安全框架，现有的 AI 红队将能够利用经过验证的结构来模拟真实的对手，推动与正式规则参与的相互问责，并提供一种成熟工具以实现可重复、可扩展的参与。通过上述方式，AI 与网络红队的融合将创建健壮的安全生态系统，最佳地为社区应对快速变化的威胁格局做好准备。
引用
@article{arxiv.2509.11398,
title = {From Firewalls to Frontiers: AI Red-Teaming is a Domain-Specific Evolution of Cyber Red-Teaming},
author = {Anusha Sinha and Keltin Grimes and James Lucassen and Michael Feffer and Nathan VanHoudnos and Zhiwei Steven Wu and Hoda Heidari},
journal= {arXiv preprint arXiv:2509.11398},
year = {2025}
}