面向大语言模型的差分隐私梯度编码器：基于随机先验的低秩梯度编码
机器学习
2025-11-18 v1 人工智能
密码学与安全
摘要
大语言模型 (LLM) 的出现显示出其在广泛领域中的优势，包括语言理解与翻译、关系逻辑推理，甚至部分微分方程求解。Transformer 是基础模型构建的普遍 backbone 架构。如何调整 Transformer 架构以实现 LLM 微调中的端到端隐私保证是亟待研究的关键问题。本文调查了在 LLM (FedLLM) 联邦微调过程中可能出现的三类信息泄露。基于潜在信息泄露，我们通过插入两阶段随机性提供了 FedLLM 的端到端隐私保证解决方案。第一阶段是基于本地客户端生成的梯度统计信息训练一个基于高斯随机先验的梯度自编码器。第二阶段是采用合适的高斯噪声进行差分隐私保证的 LLM 微调。我们展示了所提方法在多个基础模型和两个流行评估基准上的效率与准确性提升。此外，我们Present了针对高斯差分隐私 (GDP) 和 Renyi 差分隐私 (RDP) 的全面隐私分析。
引用
@article{arxiv.2412.17053,
title = {DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately},
author = {Huiwen Wu and Deyi Zhang and Xiaohan Li and Xiaogang Xu and Jiafei Wu and Zhe Liu},
journal= {arXiv preprint arXiv:2412.17053},
year = {2025}
}