面向 LLM 嵌入的端云协作的熵驱动扰动防护
密码学与安全
2025-03-18 v1
摘要
近期研究通过端云协作提升本地语言模型推理性能，即端设备从云端数据库检索有用信息以增强本地处理，称为检索增强生成（RAG）。通常情况下，为在检索云端信息的同时保护隐私，端设备会将原始数据转换为基于本地嵌入模型的嵌入。然而，近期出现的嵌入逆转攻击（Embedding Inversion Attacks, EIAs）仍可从文本嵌入中恢复原始数据（例如，通过训练恢复模型将嵌入映射回原始文本），构成对用户隐私的重大威胁。为解决此风险，我们提出了 EntroGuard——一种基于熵驱动扰动的嵌入隐私保护方法，可在端云协作中保护文本嵌入隐私，同时维持检索准确性。具体而言，为对抗各种 EIAs，我们扰动嵌入以增加常规恢复模型中恢复文本熵值，从而将嵌入引导至无意义文本而非原始敏感文本的恢复过程中。为维持云端的检索性能，我们将扰动限制在一定范围内，采用在冗余区域减小扰动、在稀疏区域增加扰动的策略。此外，EntroGuard 可直接集成到端设备，无需修改嵌入模型。大量实验结果表明，EntroGuard 在最高可达 8 倍的隐私泄露风险降低幅度下，相较于现有隐私保护方法几乎不影响检索性能。
引用
@article{arxiv.2503.12896,
title = {Safeguarding LLM Embeddings in End-Cloud Collaboration via Entropy-Driven Perturbation},
author = {Shuaifan Jin and Xiaoyi Pang and Zhibo Wang and He Wang and Jiacheng Du and Jiahui Hu and Kui Ren},
journal= {arXiv preprint arXiv:2503.12896},
year = {2025}
}