面向移动视觉语言智能体的隐形攻击：基于代理的隐蔽性越狱攻击
密码学与安全
2026-04-10 v4 人工智能
摘要
大型视觉语言模型 (LVLMs) 赋能了自主移动智能体，但其在现实移动部署约束下的安全性仍未得到充分探讨。尽管智能体对视觉提示注入存在脆弱性，但在不要求系统级权限的情况下进行隐形攻击仍具挑战性，因为现有方法依赖可被用户察觉的持久视觉操作。我们发现了人类与智能体交互之间的一个持续性差异：自动化智能体生成近零接触触碰信号。基于这一洞察，我们提出了一种新的攻击范式，即仅在智能体交互时暴露恶意内容，而对人类用户而言则不易被察觉。为适应移动UI约束和单次交互设置，我们引入HG-IDA*，一种高效的单次优化方法，用于构建规避LVLMs安全过滤器的越狱提示。实验表明，我们的方法可引发未授权的跨应用动作，在GPT-4o上实现82.5%的计划劫持和75.0%的执行劫持率。我们的发现凸显了移动智能体系统中一个此前未被充分探索的攻击面，并强调需要包含交互级信号的防御措施。
引用
@article{arxiv.2510.07809,
title = {Invisible to Humans, Triggered by Agents: Stealthy Jailbreak Attacks on Mobile Vision-Language Agents},
author = {Renhua Ding and Xiao Yang and Zhengwei Fang and Jun Luo and Kun He and Jun Zhu},
journal= {arXiv preprint arXiv:2510.07809},
year = {2026}
}