计算机使用智能体的安全与安全威胁综述:是 JARVIS 还是 Ultron?
计算与语言
2026-04-30 v4 人工智能
密码学与安全
计算机视觉与模式识别
软件工程
摘要
最近,AI驱动的计算设备交互从基本原型工具发展为具有复杂能力的、基于大型语言模型(LLM)的系统,模拟人类在图形用户界面中的操作。我们正在见证计算机使用智能体(CUA)的出现,这些智能体能够自主执行诸如导航桌面应用程序、网页和移动应用等任务。然而,随着这些智能体能力的提升,它们也引入了新的安全与安全风险。LLM驱动的推理漏洞,以及集成多个软件组件和多模态输入的复杂性,进一步复杂化了安全领域。在本文中,我们系统化了关于CUA安全与安全威胁的知识。我们进行了全面的文献综述,并在四个研究目标下提炼了发现:\textit{\textbf{(i)}} 定义适合安全分析的CUA;\textit{\textbf{(ii)}} 归类当前CUA中的安全威胁;\textit{\textbf{(iii)}} 提出全面的防御策略分类;\textit{\textbf{(iv)}} 汇总用于评估CUA安全性和性能的主要基准、数据集和评估指标。基于这些见解,我们的工作为研究者提供了结构化的基础,帮助探索未知漏洞,并为实践者提供可操作的指导,以设计和部署安全的计算机使用智能体。
引用
@article{arxiv.2505.10924,
title = {A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?},
author = {Ada Chen and Yongjiang Wu and Junyuan Zhang and Jingyu Xiao and Shu Yang and Jen-tse Huang and Kun Wang and Wenxuan Wang and Shuai Wang},
journal= {arXiv preprint arXiv:2505.10924},
year = {2026}
}
备注
Accepted by ACL 2026