偏差的威力：在异构差分隐私联邦学习中优化客户端选择
机器学习
2024-08-19 v1
摘要
为保护数据隐私，联邦学习 (FL) 范式应运而生，其中客户端仅暴露模型梯度而非原始数据以进行模型训练。为增强 FL 中模型梯度的保护，提出了差分隐私联邦学习 (DPFL)，该方法在梯度暴露前加入差分隐私 (DP) 噪声以混淆梯度。然而，DPFL 中一个基本但被严重忽视的问题是客户端隐私需求的异构性，这可能在客户端之间差异显著，并极大地复杂化了 DPFL 中的客户端选择问题。换言之，在选择客户端时，必须同时考虑数据质量和 DP 噪声的影响。为解决这一问题，我们在异构隐私条件下对 DPFL 进行了收敛性分析，涵盖通用客户端选择策略、常用 DP 机制和凸损失函数。基于收敛性分析，我们将客户端选择问题表述为在异构隐私条件下最小化 DPFL 中损失函数值的问题，这是一个凸优化问题，可以高效求解。据此，我们提出了 DPFL-BCS (偏差的客户端选择) 算法。在凸和非凸损失函数下使用真实数据集进行的广泛实验结果表明，DPFL-BCS 相较于最先进的基线方法能够显著提升模型效用。
引用
@article{arxiv.2408.08642,
title = {The Power of Bias: Optimizing Client Selection in Federated Learning with Heterogeneous Differential Privacy},
author = {Jiating Ma and Yipeng Zhou and Qi Li and Quan Z. Sheng and Laizhong Cui and Jiangchuan Liu},
journal= {arXiv preprint arXiv:2408.08642},
year = {2024}
}