RedTeamCUA：混合 Web-OS 环境中计算机使用代理的现实对抗性测试

计算机使用代理（CUA）有望跨操作系统（OS）和网络自动化复杂任务，但仍然容易受到间接提示注入的攻击。当前对该威胁的评估要么缺乏对现实但受控环境的支持，要么忽略了涉及这两个接口的混合 Web-OS 攻击场景。为了解决这个问题，我们提出了 RedTeamCUA，这是一个对抗性测试框架，具有一个新颖的混合沙箱，该沙箱集成了基于虚拟机的操作系统环境和基于 Docker 的网络平台。我们的沙箱支持为红队测试量身定制的核心功能，例如灵活的对抗性场景配置，以及通过在对抗性注入点直接初始化测试来将对抗性评估与 CUA 的导航限制解耦的设置。使用 RedTeamCUA，我们开发了 RTC-Bench，这是一个包含 864 个示例的综合基准，用于调查现实的混合 Web-OS 攻击场景和基本安全漏洞。对当前前沿 CUA 的基准测试发现了显著的漏洞：Claude 3.7 Sonnet | CUA 的 ASR 为 42.9%，而评估中最安全的 CUA Operator 仍然表现出 7.6% 的 ASR。值得注意的是，CUA 经常尝试执行对抗性任务，尝试率高达 92.5%，尽管由于能力限制未能完成它们。尽管如此，我们在现实的端到端设置中观察到了令人担忧的高 ASR，迄今最强的 Claude 4.5 Sonnet | CUA 表现出 60% 的最高 ASR，表明 CUA 威胁已经可能对用户和计算机系统造成切实风险。总体而言，RedTeamCUA 为推进对 CUA 漏洞的现实、受控和系统化分析提供了一个重要框架，突出了在现实世界部署之前对间接提示注入采取稳健防御的迫切需求。