通过弹窗攻击视觉语言计算机智能体
计算与语言
2025-05-27 v2
摘要
由大型视觉和语言模型（VLM）驱动的自主智能体已在完成日常计算机任务方面展现出巨大潜力，例如通过浏览器预订旅行或操作桌面软件，这需要智能体理解这些界面。尽管这些视觉输入正变得越来越融合到智能体应用中，但围绕它们的风险类型和攻击方式仍然不清晰。本文我们展示了VLM智能体可以容易受到一组精心设计的对抗性弹窗的攻击，这些弹窗人类用户通常会识别并忽略。这种干扰导致智能体点击这些弹窗而非按原本执行任务。将这些弹窗集成到现有智能体测试环境（如 OSWorld 和 VisualWebArena）中，平均攻击成功率（智能体点击弹窗的频率）为86%，且使任务成功率下降47%。基本的防御技术，例如要求智能体忽略弹窗或包含广告提示，均对此攻击无效。
引用
@article{arxiv.2411.02391,
title = {Attacking Vision-Language Computer Agents via Pop-ups},
author = {Yanzhe Zhang and Tao Yu and Diyi Yang},
journal= {arXiv preprint arXiv:2411.02391},
year = {2025}
}
备注
ACL 2025