FedSel：局部差分隐私下基于 Top-k 维度选择的联邦 SGD

随着小型设备产生海量数据，移动设备上的联邦学习已成为一种新兴趋势。在联邦设置中，随机梯度下降（SGD）已广泛用于各种机器学习模型的联邦学习。为防止基于用户敏感数据计算的梯度发生隐私泄露，局部差分隐私（LDP）近来被视为联邦 SGD 中的隐私保障。然而，现有方案存在维度依赖问题：注入的噪声与维度 $d$ 大致成正比。在这项工作中，我们提出了一个两阶段框架 FedSel，用于 LDP 下的联邦 SGD 以缓解该问题。我们的核心思想是并非所有维度都同等重要，从而在联邦 SGD 的每次迭代中根据其贡献 privately 选择 Top-k 维度。具体而言，我们提出了三种私有维度选择机制，并适配梯度累积技术以稳定带噪声更新的学习过程。我们还从理论上分析了 FedSel 的隐私、准确率和时间复杂度，其优于最先进的方案。在真实世界和合成数据集上的实验验证了我们的框架的有效性和高效性。