在差分隐私联邦学习中使损失地形更平坦
机器学习
2023-06-27 v2 密码学与安全
计算机视觉与模式识别
摘要
为防御推理攻击并缓解联邦学习（FL）中的敏感信息泄露，客户端级差分隐私联邦学习（DPFL）通过对本地更新进行裁剪并添加随机噪声，成为隐私保护的事实标准。然而，现有DPFL方法往往使损失地形更尖锐，且权重扰动鲁棒性更差，导致严重的性能下降。为缓解这些问题，我们提出一种名为DP-FedSAM的新型DPFL算法，利用梯度扰动来减轻DP的负面影响。具体而言，DP-FedSAM集成锐度感知最小化（SAM）优化器以生成具有更好稳定性和权重扰动鲁棒性的本地平坦模型，这导致本地更新范数较小且对DP噪声鲁棒，从而提升性能。从理论角度，我们详细分析了DP-FedSAM如何缓解DP引起的性能下降。同时，我们利用Rényi DP给出严格的隐私保证，并给出了本地更新的敏感度分析。最后，我们实证确认我们的算法与现有DPFL中的SOTA基线相比取得了最先进的（SOTA）性能。代码见 https://github.com/YMJS-Irfan/DP-FedSAM
引用
@article{arxiv.2303.11242,
title = {Make Landscape Flatter in Differentially Private Federated Learning},
author = {Yifan Shi and Yingqi Liu and Kang Wei and Li Shen and Xueqian Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2303.11242},
year = {2023}
}
备注
CVPR2023