FedShield-LLM：面向安全可扩展的联邦微调大语言模型
密码学与安全
2026-05-20 v2 分布式、并行与集群计算
摘要
联邦学习（FL）提供了一个通过跨组织计算资源训练和微调大语言模型（LLM）的去中心化框架，同时保持敏感数据在本地设备。它解决了隐私和安全问题，同时导航了 LLM 巨大的计算需求，这对小型和中型组织可能是不可行的。FL 支持通过微调开发特定任务的 LLM 以适应跨囊应用，但仍面临推理相关风险，这些风险威胁敏感信息。先前研究在 LLM 微调中利用差分隐私（DP），尽管有效地保留了隐私，但会降低模型性能。为克服这些挑战，我们提出 FedShield-LLM 集成了剪枝与针对 Low-Rank Adaptation（LoRA）参数的全同态加密（FHE）。这种组合通过对加密模型更新进行安全计算并通过去激活不重要的 LoRA 参数来减少攻击面。此外，针对跨囊环境的优化联邦算法提高了可扩展性和效率。参数高效微调技术如 LoRA 大幅降低了计算和通信开销，使 FL 对资源受限的客户端变得可行。广泛的实验使用 Llama-2 模型（7B 和 13B）在四个多样化数据集上表明，FedShield-LLM 在协同性能和系统效率方面优于现有方法，支持跨多个领域的实际部署。
引用
@article{arxiv.2506.05640,
title = {FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model},
author = {Md Jueal Mia and M. Hadi Amini},
journal= {arXiv preprint arXiv:2506.05640},
year = {2026}
}