面向客户端级差分隐私下联邦学习更平坦损失景观与更优泛化
机器学习
2023-05-03 v2 密码学与安全
分布式、并行与集群计算
摘要
为防御推断攻击并缓解联邦学习（FL）中的敏感信息泄露，客户端级差分隐私 FL（DPFL）通过裁剪本地更新并添加随机噪声成为隐私保护的事实标准。然而，现有 DPFL 方法往往造成尖锐的损失景观且权重扰动鲁棒性差，导致严重的性能下降。为缓解这些问题，我们提出一种名为 DP-FedSAM 的新型 DPFL 算法，其利用梯度扰动来减轻 DP 的负面影响。具体而言，DP-FedSAM 集成锐度感知最小化（SAM）优化器以生成具有改进稳定性和权重扰动鲁棒性的本地平坦模型，这导致本地更新的范数较小且对 DP 噪声鲁棒，从而提升性能。为进一步减小随机噪声幅度同时获得更好性能，我们通过采用本地更新稀疏化技术提出 DP-FedSAM-。从理论角度，我们给出收敛性分析以研究我们的算法如何缓解 DP 引起的性能下降。同时，我们给出基于 R\'enyi DP 的严格隐私保证、本地更新的敏感度分析以及泛化分析。最后，我们经实证确认我们的算法在 DPFL 中与现有 SOTA 基线相比取得了最先进（SOTA）性能。
引用
@article{arxiv.2305.00873,
title = {Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy},
author = {Yifan Shi and Kang Wei and Li Shen and Yingqi Liu and Xueqian Wang and Bo Yuan and Dacheng Tao},
journal= {arXiv preprint arXiv:2305.00873},
year = {2023}
}
备注
20 pages. arXiv admin note: substantial text overlap with arXiv:2303.11242