PrivTuner与同态加密和LoRA：一种用于AI基础模型隐私保护参数高效微调的P3EFT方案
密码学与安全
2025-10-14 v3
摘要
AI基础模型最近在广泛的任务中展示了令人印象深刻的能力。微调是一种通过在更小的、有针对性的数据集上进一步训练来定制预训练AI基础模型的方法。在本文中，我们率先研究了隐私保护参数高效微调框架，该框架可被视为参数高效微调和隐私保护微调的交集。PEFT仅修改模型参数的一小部分以实现FT（即，使预训练模型适应特定数据集），而PPFT使用隐私保护技术来保护模型在FT过程中的机密性。关于PEFT或PPFT已有许多研究，但关于它们融合的研究很少，这促使我们开展P3EFT的工作，以实现参数效率和模型隐私。为了示例化我们的P3EFT，我们提出了PrivTuner方案，该方案将全同态加密支持的隐私保护集成到LoRA中。直观地说，PrivTuner允许模型所有者和外部数据所有者协作对加密数据实施PEFT。在详细描述PrivTuner之后，我们进一步研究了其能耗和隐私保护。然后，我们考虑了一个基于无线通信的PrivTuner系统，并制定了一个联合优化问题，以自适应地最小化能耗同时最大化隐私保护，优化变量包括FDMA带宽分配、无线传输功率、计算资源分配和隐私保护。设计了一种资源分配算法来解决该问题。实验表明，我们的算法能够显著降低能耗，同时适应不同的隐私需求。
引用
@article{arxiv.2410.00433,
title = {PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models},
author = {Yang Li and Wenhan Yu and Jun Zhao},
journal= {arXiv preprint arXiv:2410.00433},
year = {2025}
}