Rag 与 Roll：评估 LLM 应用框架中间接提示操纵

Gianluca De Stefano; Lea Schönherr; Giancarlo Pellegrino

Rag 与 Roll：评估 LLM 应用框架中间接提示操纵

密码学与安全 2024-08-13 v2 人工智能

作者: Gianluca De Stefano , Lea Schönherr , Giancarlo Pellegrino

摘要

检索增强生成（RAG）是一种常用于为模型提供分布外知识的技术。这一过程涉及收集、索引、检索和为 LLM 提供信息以生成响应。尽管由于其灵活性和低成本而日益流行，但 RAG 的安全影响尚未得到广泛研究。此类系统的数据通常来自公共来源，为攻击者提供了进行间接提示注入以操纵模型响应的入口。在本文中，我们调查了针对端到端间接提示操纵的 RAG 系统安全性。首先，我们审查了现有的 RAG 框架管道，推导出原型架构并识别关键参数。然后，我们检查了旨在供攻击者使用的技术。最后，我们实现了 Rag 'n Roll，一个用于确定针对端到端 RAG 应用的攻击有效性的框架。我们的结果表明，现有攻击主要针对在检索阶段提升恶意文档排名进行优化。然而，更高的排名并不立即转化为可靠的攻击。大多数攻击在各种配置下都稳定在约 40% 的成功率，而考虑到含有预期良性答案的模糊答案为成功攻击时，成功率可提高到 60%。此外，当使用未优化的文档时，攻击者使用两个或更多针对特定查询的文档可获得与使用优化文档相似的结果。最后，探索了 RAG 的配置空间，攻击的抑制作用有限，其中最成功的组合严重削弱了功能。

关键词

RAG 系统间接提示操纵安全评估端到端攻击文档排名

引用

@article{arxiv.2408.05025,
  title  = {Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks},
  author = {Gianluca De Stefano and Lea Schönherr and Giancarlo Pellegrino},
  journal= {arXiv preprint arXiv:2408.05025},
  year   = {2024}
}

Rag 与 Roll：评估 LLM 应用框架中间接提示操纵

摘要

关键词

引用

相关论文