DP-FedPGN: 通过惩罚梯度范数寻找差分隐私联邦学习的全局平坦最小值

为防止推理攻击和减少敏感信息泄露，Client-level Differentially Private Federated Learning (CL-DPFL) 被广泛使用。然而，当前的 CL-DPFL 方法通常导致较陡的损失景观，这会导致模型在差分隐私保护后出现泛化性能下降。通过使用 Sharpness Aware Minimization (SAM)，当前流行的联邦学习方法是寻找局部平坦最小值来缓解这一问题。然而，局部平坦性可能不反映 CL-DPFL 中的全局平坦性。因此，为解决此问题并寻求模型的全局平坦最小值，我们提出了一种新的 CL-DPFL 算法 DP-FedPGN，在其中我们在 local loss 中引入全局梯度范数惩罚，以寻找全局平坦最小值。此外，通过我们的全局梯度范数惩罚，我们不仅找到更平坦的全局最小值，还减少了 locally updated norm，这意味着我们进一步减少了 gradient clipping 的误差。从理论角度看，我们分析了 DP-FedPGN 如何缓解由 DP 引起的性能下降。同时，提出的 DP-FedPGN 算法消除了数据异构性的影响，实现了快速收敛。我们还使用 R\'enyi DP 提供严格的隐私保证，并对 local updates 进行敏感性分析。最后，我们在 ResNet 和 Transformer 模型上进行有效性测试，在六个视觉和自然语言处理任务上均实现了对比现有 state-of-the-art 算法的显著性改进。该代码可在 https://github.com/junkangLiu0/DP-FedPGN 获取。