OS-Sentinel：面向移动 GUI 智能体的混合验证安全增强方案
人工智能
2025-12-10 v2 计算与语言
计算机视觉与模式识别
人机交互
摘要
由视觉语言模型（VLM）驱动的计算机使用智能体在数字环境（如移动平台）中展现出类人能力。尽管这些智能体在推进数字自动化方面拥有巨大潜力，但其进行不安全操作（如系统篡改和隐私泄露）的潜力正引发重大担忧。跨移动环境庞大且复杂的运行空间检测这些安全问题仍是一个至关重要且严重未被充分探索的挑战。为开展移动智能体安全研究奠定基础，我们引入 MobileRisk-Live，一个动态沙箱环境，配套拥有以真实轨迹为基础且带有细粒度注释的安全检测基准。基于此，我们提出 OS-Sentinel，一种新型混合安全检测框架，综合了用于检测显式系统层次违规的形式化验证器，和用于评估情境风险和智能体行为的 VLM 基于情境的评判器。实验表明，OS-Sentinel 在多个指标上相较于现有方法实现了 10%~30% 的提升。进一步的分析提供了关键见解，推动了更安全和更可靠的自主移动智能体的开发。我们的代码和数据已公开于 https://github.com/OS-Copilot/OS-Sentinel。
引用
@article{arxiv.2510.24411,
title = {OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows},
author = {Qiushi Sun and Mukai Li and Zhoumianze Liu and Zhihui Xie and Fangzhi Xu and Zhangyue Yin and Kanzhi Cheng and Zehao Li and Zichen Ding and Qi Liu and Zhiyong Wu and Zhuosheng Zhang and Ben Kao and Lingpeng Kong},
journal= {arXiv preprint arXiv:2510.24411},
year = {2025}
}
备注
work in progress