GhostEI-Bench: 移动代理在动态设备环境下抵抗环境注入的能力如何？
密码学与安全
2026-03-06 v3 人工智能
摘要
视觉语言模型(VLM)越来越多地被部署为导航移动图形用户界面(GUI)的自主代理。在动态设备生态系统中运行，包括通知、弹出窗口和跨应用交互，使其暴露于一种独特且未被充分探索的威胁向量：环境注入。不同于操控文本指令的攻击，环境注入通过向GUI中插入对抗性UI元素(例如欺骗性叠加层或伪造通知)来破坏代理的视觉感知。这绕过文本安全措施，可能导致执行偏离，造成隐私泄露、财务损失或不可逆设备损坏。为系统性评估此威胁，我们引入GhostEI-Bench——第一个在动态、可执行环境中评估移动代理环境注入攻击的基准测试。超越静态图像基准测试，GhostEI-Bench在完全 operational 的 Android 模拟器中注入对抗性事件到真实应用工作流程中，并在关键风险场景中评估性能。我们进一步提出一种 judge-LLM 协议，通过审查代理的行动轨迹和相应截图序列进行细粒度失败分析，定位感知、识别或推理中的失效。针对最先进代理的全面实验揭示，对欺骗环境线索的显著脆弱性：当前模型在感知和推理操纵 UI 时系统性失败。GhostEI-Bench 提供了量化和缓解这一新兴威胁的框架，为更健壮和安全的具身代理铺平了道路。
引用
@article{arxiv.2510.20333,
title = {GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?},
author = {Chiyu Chen and Xinhao Song and Yunkai Chai and Yang Yao and Haodong Zhao and Lijun Li and Jie Li and Yan Teng and Gongshen Liu and Yingchun Wang},
journal= {arXiv preprint arXiv:2510.20333},
year = {2026}
}