OS-SPEAR：用于 OS 代理安全性、性能、效率与鲁棒性分析的工具包
计算与语言
2026-04-28 v1
摘要
多模态大语言模型（MLLM）的演进正将注意力从文本生成转向通过导航复杂图形用户界面（GUI）来实现的主动行为执行。然而，这些代理转变为可信赖日常伙伴的过程受限于对安全性、效率和多模态鲁棒性进行严格评估的缺乏。当前基准受限于狭窄的安全场景、噪声的轨迹标注以及有限的鲁棒性指标。为弥合这一差距，我们提出了 OS-SPEAR，这是一个用于系统性分析 OS 代理的综合性工具包，涵盖四个维度：安全性（Safety）、性能（Performance）、效率（Efficiency）和鲁棒性（Robustness）。OS-SPEAR 引入了四个专门的子集：（1）S（安全性）子集涵盖多样化的环境和人类引发的风险；（2）P（性能）子集通过轨迹价值估计和分层抽样进行精选；（3）E（效率）子集通过时延和 token 消耗两个维度衡量性能；（4）R（鲁棒性）子集对视觉和文本输入施加跨模态扰动。我们还提供了一个自动化分析工具，用于生成人类可读的诊断报告。我们对 22 个流行的 OS 代理进行了广泛评估。我们的实证结果揭示了当前格局的关键见解：效率与安全性或鲁棒性之间存在普遍的权衡、专用代理在性能上优于通用模型，以及不同模态之间的鲁棒性脆弱性差异。通过提供多维度排名和标准化评估框架，OS-SPEAR 为开发下一代可靠且高效的 OS 代理提供了基础资源。该数据集和代码已提供，地址为 https://github.com/Wuzheng02/OS-SPEAR。
引用
@article{arxiv.2604.24348,
title = {OS-SPEAR: A Toolkit for the Safety, Performance,Efficiency, and Robustness Analysis of OS Agents},
author = {Zheng Wu and Yi Hua and Zhaoyuan Huang and Chenhao Xue and Yijie Lu and Pengzhou Cheng and Zongru Wu and Lingzhong Dong and Gongshen Liu and Xinghao Jiang and Zhuosheng Zhang},
journal= {arXiv preprint arXiv:2604.24348},
year = {2026}
}