高效实现安全模型训练与安全聚合以保障联邦学习中的双向隐私保护
机器学习
2024-12-17 v1 密码学与安全
摘要
双向隐私保护联邦学习至关重要，因为局部梯度和全局模型都可能泄露隐私。然而，仅有少数工作尝试实现这一目标，且它们常面临通信和计算开销过大或模型精度显著下降等挑战，阻碍了实际应用。本文设计了一种高效且高精度的联邦学习双向隐私保护方案，以完成安全模型训练和安全聚合。为高效实现双向隐私，我们在服务器端设计了一种高效且无损精度的模型扰动方法（称为），该方法可与本地差分隐私（LDP）结合，防止客户端访问模型，同时确保服务器端获取的局部梯度满足LDP。此外，为保证模型精度，我们在客户端定制了一种分布式差分隐私机制（称为）。当与结合时，该机制确保局部梯度的LDP，同时保证聚合结果与中心差分隐私（CDP）的精度相匹配。大量实验表明，我们的方案在计算成本、模型精度和抵御隐私攻击能力方面显著优于最先进的双向隐私保护基线（SOTAs）。特别地，在给定目标精度下，SOTAs的训练时间约为我们方案的200倍，甚至超过1000倍。当隐私预算设置较小时，我们的方案相比忽略隐私的方法精度损失低于6%，而SOTAs的精度损失高达20%。实验结果还表明，我们方案的防御能力优于SOTAs。
引用
@article{arxiv.2412.11737,
title = {Efficiently Achieving Secure Model Training and Secure Aggregation to Ensure Bidirectional Privacy-Preservation in Federated Learning},
author = {Xue Yang and Depan Peng and Yan Feng and Xiaohu Tang and Weijun Fang and Jun Shao},
journal= {arXiv preprint arXiv:2412.11737},
year = {2024}
}