面向 AI 的 Web：第三方 AI 聊天机器人插件的提示注入风险

提示注入攻击是大型语言模型（LLM）面临的关键威胁，既有工作聚焦于个人助理等前沿 LLM 应用。相比之下，诸如客户服务聊天机器人等较简单的 LLM 应用在网上广泛部署，但其安全姿态和对此类攻击的暴露程度仍鲜为人知。这些应用常依赖第三方聊天机器人插件作为与商业 LLM API 之间的中介，为非专业网站建设者提供了直观的方式，以自定义聊天机器人行为。为填补这一差距，本文首次对 17 个第三方聊天机器人插件进行大规模研究，这些插件已被超过 1 万个公开网站使用，揭示了实际应用中此前未知的提示注入风险。首先，8 个插件（由 8000 个网站使用）未强制执行在网站访客与聊天机器人之间传输的对话历史的完整性。这一疏忽会放大直接提示注入攻击的影响，通过伪造对话历史（包括虚假系统消息），使对引发意外行为（如代码生成）的能力提升 3 至 8 倍。其次，15 个插件提供诸如网页抓取等工具，以丰富聊天机器人与网站特定内容的上下文。然而，这些工具不区分网站可信内容（如产品描述）与不可信的第三方内容（如客户评论），从而引入间接提示注入风险。值得注意的是，我们发现约有 13% 的电子商务网站已将其聊天机器人暴露于第三方内容之中。我们通过基于真实观察的受控实验系统评估这两种漏洞，关注因素如系统提示设计和底层 LLM。我们的发现表明，许多插件采用不安全的做法，这些做法削弱了内置的 LLM 安全措施。