AdInject：通过广告投放对 Web 智能体发起现实世界黑盒攻击
密码学与安全
2025-05-28 v1 人工智能
摘要
基于视觉语言模型 (VLM) 的 Web 智能体通过模拟人类与网站的交互，代表了向复杂任务自动化迈出的重要一步。然而，它们在不受控的 Web 环境中的部署引入了严重的安全漏洞。现有关于对抗性环境注入攻击的研究通常依赖于不切实际的假设，例如直接 HTML 操作、了解用户意图或访问智能体模型参数，这限制了其实际适用性。在本文中，我们提出了 AdInject，一种新颖且面向现实世界的黑盒攻击方法，该方法利用互联网广告投放将恶意内容注入 Web 智能体的环境。与先前工作相比，AdInject 在更为现实的威胁模型下运行，假设智能体为黑盒、存在静态恶意内容约束且不掌握用户意图的具体知识。AdInject 包含设计恶意广告内容的策略，旨在误导智能体点击；同时包含一种基于 VLM 的广告内容优化技术，该技术从目标网站的上下文推断潜在用户意图，并将这些意图整合到广告内容中，使其对智能体的任务显得更为相关或关键，从而增强攻击有效性。实验评估证明了 AdInject 的有效性，在大多数场景下攻击成功率超过 60%，在某些情况下接近 100%。这有力地表明，普遍存在的广告投放构成了针对 Web 智能体环境注入攻击的有效现实世界向量。本研究凸显了 Web 智能体安全中因现实世界环境操纵渠道而产生的严重漏洞，强调了迫切需要开发针对此类威胁的鲁棒防御机制。我们的代码可在 https://github.com/NicerWang/AdInject 获取。
引用
@article{arxiv.2505.21499,
title = {AdInject: Real-World Black-Box Attacks on Web Agents via Advertising Delivery},
author = {Haowei Wang and Junjie Wang and Xiaojun Jia and Rupeng Zhang and Mingyang Li and Zhe Liu and Yang Liu and Qing Wang},
journal= {arXiv preprint arXiv:2505.21499},
year = {2025}
}