通过随机掩码与量化增强联邦学习中的模型隐私
机器学习
2025-08-28 v2 人工智能
摘要
传统联邦学习的主要目标是通过使分布式边缘设备协作训练共享的全局模型，同时将原始数据保留在本地客户端，从而保护数据隐私。大型语言模型（LLM）的兴起给分布式系统带来了新的挑战，因为它们巨大的计算需求和对专业知识的需求引发了对保护知识产权（IP）的关键关切。这凸显了对一种能够同时保护敏感数据和专有模型的联邦学习方法的迫切需求。为了应对这一挑战，我们提出了FedQSN，这是一种联邦学习方法，它利用随机掩码来模糊模型参数的子网络，并对剩余参数应用量化。因此，服务器在每轮通信中仅向客户端传输一个保护隐私的全局模型代理，从而增强了模型的机密性。跨各种模型和任务的实验结果表明，我们的方法不仅在联邦学习环境中保持了强大的模型性能，而且与基线方法相比，实现了对模型参数的增强保护。
引用
@article{arxiv.2508.18911,
title = {Enhancing Model Privacy in Federated Learning with Random Masking and Quantization},
author = {Zhibo Xu and Jianhao Zhu and Jingwen Xu and Changze Lv and Zisu Huang and Xiaohua Wang and Muling Wu and Qi Qian and Xiaoqing Zheng and Xuanjing Huang},
journal= {arXiv preprint arXiv:2508.18911},
year = {2025}
}