针对LLM集成应用的提示注入攻击
密码学与安全
2025-12-30 v3 人工智能
计算与语言
软件工程
摘要
大语言模型（LLM）以其卓越的语言理解与生成能力闻名，激发了围绕它们的活跃应用生态。然而，它们向各类服务的广泛渗透引入了重大安全风险。本研究剖析了针对实际LLM集成应用的提示注入攻击的复杂性与影响。首先，我们对十个商业应用进行探索性分析，凸显当前攻击策略在实践中的局限。受这些局限启发，我们随后提出HouYi，一种受传统Web注入攻击启发的新型黑盒提示注入攻击技术。HouYi划分为三个关键要素：无缝嵌入的预构建提示、诱导上下文分割的注入提示，以及为实现攻击目标设计的恶意载荷。利用HouYi，我们揭示了先前未知且严重的攻击后果，如不受限的任意LLM使用和简易的应用提示窃取。我们将HouYi部署于36个实际LLM集成应用，识别出31个易受提示注入的应用。10家供应商已确认我们的发现，包括可能影响数百万用户的Notion。我们的调查阐明了提示注入攻击的潜在风险及可能的缓解策略。
引用
@article{arxiv.2306.05499,
title = {Prompt Injection attack against LLM-integrated Applications},
author = {Yi Liu and Gelei Deng and Yuekang Li and Kailong Wang and Zihao Wang and Xiaofeng Wang and Tianwei Zhang and Yepang Liu and Haoyu Wang and Yan Zheng and Leo Yu Zhang and Yang Liu},
journal= {arXiv preprint arXiv:2306.05499},
year = {2025}
}