中文

RemoteRAG:一种隐私保护的LLM云RAG服务

信息检索 2024-12-18 v1 密码学与安全

摘要

检索增强生成(RAG)通过从可信文献中检索相关文档并将其整合到用户查询的上下文中,提高了大型语言模型的服务质量。最近,云RAG服务的兴起使用户能够方便地查询相关文档。然而,直接将查询发送到云端会带来潜在的隐私泄露。在本文中,我们首次正式定义了隐私保护的云RAG服务以保护用户查询,并提出了RemoteRAG作为隐私、效率和准确性方面的解决方案。对于隐私,我们引入了(n,ϵ)(n,\epsilon)-DistanceDP来表征用户查询的隐私泄露以及从相关文档推断出的泄露。对于效率,我们将搜索范围从所有文档限制为与从(n,ϵ)(n,\epsilon)-DistanceDP生成的扰动嵌入相关的少量选定文档,从而显著降低了隐私保护所需的计算和通信成本。对于准确性,我们通过详细的理论分析确保小范围包含与用户查询相关的目标文档。实验结果还表明,RemoteRAG能够抵抗现有的嵌入反转攻击方法,同时在各种设置下实现无检索损失。此外,RemoteRAG是高效的,当从总共10610^6个文档中检索时,仅需0.670.67秒和46.6646.66KB的数据传输(非优化隐私保护方案需要2.722.72小时和1.431.43GB)。

关键词

引用

@article{arxiv.2412.12775,
  title  = {RemoteRAG: A Privacy-Preserving LLM Cloud RAG Service},
  author = {Yihang Cheng and Lan Zhang and Junyang Wang and Mu Yuan and Yunhao Yao},
  journal= {arXiv preprint arXiv:2412.12775},
  year   = {2024}
}