ReCIT：从参数高效微调中的梯度中重建完整私有数据
密码学与安全
2025-04-30 v1
摘要
参数高效微调 (PEFT) 已成为一种实用解决方案，用于以显著降低的计算成本适配大型语言模型 (LLM)。在进行 PEFT 协作学习场景（例如联邦学习）时，通常需要在各方之间交换模型更新（或梯度）。即使这些梯度维度有限，也可能导致严重的隐私泄露。最近的研究表明，通过梯度可以暴露上下文前缀和个人可识别信息 (PII)。然而，同时且准确地从同一训练实例中恢复这两个组件仍不可行，原因如下：1）PEFT 参数的数量有限；2）标记空间高度维度；3）大批量大小。我们提出了 ReCIT，一种新型隐私攻击，旨在解决上述所有挑战，并以高保真度恢复来自 PEFT 梯度的“完整”私有数据。具体而言，ReCIT 通过使用个人笔记进行恶意微调来增强预训练模型的记忆能力；ReCIT 还提出了一种基于过滤器的标记提取技术和标记配对机制，以准确重构大批量大小下的训练序列中的标记。广泛的评估表明，ReCIT 在不同 PEFT 范式下 consistently 超过最新的梯度逆转和记忆攻击。其 PII 恢复率最高可提高约 10 倍，并且在不同批量大小下仍有效，尤其是在传统方法难以进行前缀重建的设置下。这些发现凸显了有必要重新评估 PEFT 的隐私保证，尤其是在分散或共享训练环境中。
引用
@article{arxiv.2504.20570,
title = {ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models},
author = {Jin Xie and Ruishi He and Songze Li and Xiaojun Jia and Shouling Ji},
journal= {arXiv preprint arXiv:2504.20570},
year = {2025}
}