EVA：通过演化间接提示注入进行 GUI 代理的红队测试
人工智能
2025-05-21 v1
摘要
随着多模态代理被训练用于操作图形用户界面 (GUI) 以完成用户任务，他们正面临来自间接提示注入的日益增长的威胁，这类攻击将误导性指令嵌入代理的视觉环境中，如弹出窗口或聊天消息，并被误解为既定任务的一部分。典型例子是环境注入，即操纵 GUI 元素以影响代理行为而不直接修改用户提示。为应对这些新兴攻击，我们提出 EVA 框架，将间接提示注入转化为通过持续监控代理在 GUI 上注意力分布并更新对抗线索、关键词、措辞和布局以响应的闭环优化过程。与先前不考虑模型在视觉注意力分配上的固定提示方法相比，EVA 能动态适应注意力热点，显著提高攻击成功率并在多样化的 GUI 场景中实现更大的可迁移性。我们在真实场景下评估了 EVA 在六个广泛使用的通用和专用 GUI 代理上的表现，包括弹出窗口操纵、基于聊天的网络钓鱼、支付和邮件撰写。实验结果表明，EVA 在静态基线上显著提升了成功率。在目标不可知的约束下（即攻击者不了解代理的任务意图），EVA 仍能发现有效模式。值得注意的是，我们发现注入风格在不同模型之间具有良好的迁移性，揭示了 GUI 代理在多模态决策中存在的共性行为偏差。这些结果表明，演化式间接提示注入不仅是代理红队测试的强大工具，也有助于发现其多模态决策中的常见漏洞。
引用
@article{arxiv.2505.14289,
title = {EVA: Red-Teaming GUI Agents via Evolving Indirect Prompt Injection},
author = {Yijie Lu and Tianjie Ju and Manman Zhao and Xinbei Ma and Yuan Guo and ZhuoSheng Zhang},
journal= {arXiv preprint arXiv:2505.14289},
year = {2025}
}