通过 HTML 可访问性树进行间接 Prompt 注入攻击操控 LLM Web 代理

本工作表明，基于 LLM 的网页导航代理具备强大的自动化能力，但存在间接 Prompt 注入 (IPI) 攻击的漏洞。我们展示，攻击者可在网页 HTML 中嵌入通用对抗触发器，以劫持利用可访问性树解析 HTML 的代理行为，导致意外或恶意行为。采用 Greedy Coordinate Gradient (GCG) 算法并搭载 Llama-3.1 的 Browser Gym 代理，我们的系统在真实网站上实现高成功率，涵盖定向攻击和通用攻击，包括登录凭证外泄和强制广告点击等。我们的实证结果凸显了当 LLM 驱动的自主网页代理广泛采用的关键安全风险，以及构建更强韧防御的必要性。该系统软件 (https://github.com/sej2020/manipulating-web-agents) 采用 MIT 许可证发布，并附带公开可用的演示网站 (http://lethaiq.github.io/attack-web-llm-agent)。