基于知识蒸馏的参数化检索增强生成的隐私保护推理
计算与语言
2025-12-01 v2
摘要
当前的RAG系统需要将明文文档上传到云端，存在泄露私人数据的风险。参数化RAG（PRAG）将文档编码为LLM内部的LoRA参数，提供了一种减少原始内容暴露的可能途径。然而，它仍面临两个问题：（1）PRAG需要为每个文档合成问答对并微调LLM以创建其对应的LoRA，导致不可接受的推理延迟。（2）PRAG的性能仅依赖于合成的问答数据，缺乏与标准RAG的内部对齐，导致在分布外（OOD）输入上的泛化能力差。因此，在保持RAG级别性能的同时实现高效参数化，仍然是隐私保护推理的一个关键挑战。在本文中，我们提出了DistilledPRAG，一种可泛化的知识蒸馏参数化RAG模型，在文档结构和参数激活上与标准RAG对齐。我们首先从单文档和多文档中合成问答对，以增强跨文档推理能力。然后，我们用一个特殊标记屏蔽明文文档，并通过参数生成器将其转换为LoRA，从而保持标准的RAG文档结构。最后，在合成问答数据的引导下，我们训练参数生成器以匹配标准RAG的隐藏状态和输出logits，从而在没有原始文档的情况下实现RAG风格的推理。在四个问答数据集上的实验表明，DistilledPRAG在准确性上优于基线模型，并且在OOD数据上具有良好的泛化能力。
引用
@article{arxiv.2509.01088,
title = {Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation},
author = {Jinwen Chen and Hainan Zhang and Liang Pang and Yongxin Tong and Haibo Zhou and Yuan Zhan and Wei Lin and Zhiming Zheng},
journal= {arXiv preprint arXiv:2509.01088},
year = {2025}
}