关于非 Lipschitz 目标下差分隐私联邦学习的收敛性,以及归一化客户端更新
机器学习
2022-04-19 v3 分布式、并行与集群计算
信号处理
最优化与控制
机器学习
摘要
对于具有非 Lipschitz 目标函数(即梯度范数无界)的差分隐私联邦学习(FL),收敛性结果十分匮乏。其主要原因在于,用于限制平均更新对每个客户端更新敏感度的裁剪操作(即投影到固定半径称为裁剪阈值的 球上)会引入依赖于裁剪阈值和 FL 中本地步数的偏差,而分析这一点并不容易。对于 Lipschitz 函数,Lipschitz 常数可作为零偏差的平凡裁剪阈值。然而,在许多实际场景中 Lipschitz 性质并不成立;此外,验证该性质并计算 Lipschitz 常数是困难的。因此,裁剪阈值的选择并非易事,在实践中需要大量调参。在本文中,我们给出了私有 FL 在光滑凸目标上、针对一般裁剪阈值且不假设 Lipschitz 性的首个收敛结果。我们还考察了一种更简单的替代裁剪(用于限制敏感度)的方法,即归一化——仅使用沿客户端更新方向的单位向量的缩放版本,完全丢弃幅值信息。由此得到的基于归一化的私有 FL 算法在理论上被证明在光滑凸函数上比其基于裁剪的对应算法具有更好的收敛性。我们通过合成实验以及基准数据集上的实验证实了我们的理论。
引用
@article{arxiv.2106.07094,
title = {On the Convergence of Differentially Private Federated Learning on Non-Lipschitz Objectives, and with Normalized Client Updates},
author = {Rudrajit Das and Abolfazl Hashemi and Sujay Sanghavi and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:2106.07094},
year = {2022}
}