基于动态稀疏化客户端更新的差分隐私个性化联邦学习
机器学习
2025-04-29 v2 密码学与安全
摘要
个性化联邦学习广泛应用于数据异构场景，促进了拥有数据的终端上更高效、自动化的本地训练。这包括自动选择高性能模型参数进行上传，从而增强整体训练过程。然而，这带来了重大的隐私泄露风险。现有研究试图通过利用差分隐私来缓解这些风险。尽管如此，这些研究存在两个主要局限性：(1) 将差分隐私整合到个性化联邦学习中缺乏足够的个性化，导致向模型中引入过多噪声。(2) 它未能充分控制模型更新信息的空间范围，导致差分隐私联邦学习中数据隐私与模型有效性之间的平衡欠佳。在本文中，我们提出了一种差分隐私个性化联邦学习方法，该方法通过重参数化和自适应范数采用动态稀疏化的客户端更新 (DP-pFedDSU)。重参数化训练有效地选择个性化的客户端更新信息，从而减少更新数量。这种方法最大程度地减少了噪声的引入。此外，动态自适应范数是指在训练过程中控制模型更新的范数空间，减轻了裁剪对更新信息的负面影响。这些策略显著增强了差分隐私与个性化联邦学习的有效整合。在 EMNIST、CIFAR-10 和 CIFAR-100 上的实验结果表明，我们提出的方案实现了卓越的性能，并且非常适合更复杂的个性化联邦学习场景。
引用
@article{arxiv.2503.09192,
title = {Differential Privacy Personalized Federated Learning Based on Dynamically Sparsified Client Updates},
author = {Chuanyin Wang and Yifei Zhang and Neng Gao and Qiang Luo},
journal= {arXiv preprint arXiv:2503.09192},
year = {2025}
}
备注
10 pages,2 figures