sqSGD：局部隐私且通信高效的联邦学习
机器学习
2022-06-23 v2 密码学与安全
摘要
联邦学习（FL）是一种从分散数据源训练机器学习模型的技术。我们在局部隐私约束下研究 FL，其通过在数据离开客户端前进行混淆，提供针对敏感数据泄露的强保护。我们指出设计实用隐私保护 FL 算法的两个主要关注点：通信效率与高维兼容性。随后我们开发了一种称为 sqSGD（选择性量化随机梯度下降）的基于梯度的学习算法，同时解决上述两方面问题。所提算法基于一种新颖的隐私保护量化方案，每个客户端每维度使用常数比特数。接着我们从三方面改进基础算法：首先，应用梯度子采样策略，在固定隐私预算下同时提供更好训练性能与更小通信开销；其次，利用随机旋转作为预处理步骤以降低量化误差；第三，采用自适应梯度范数上界收缩策略以提升精度并稳定训练。最后，在基准数据集上展示了所提框架的实用性。实验结果表明，sqSGD 在局部隐私约束下成功学习了 LeNet 和 ResNet 等大型模型。此外，在固定隐私与通信水平下，sqSGD 的性能显著优于各类基线算法。
引用
@article{arxiv.2206.10565,
title = {sqSGD: Locally Private and Communication Efficient Federated Learning},
author = {Yan Feng and Tao Xiong and Ruofan Wu and LingJuan Lv and Leilei Shi},
journal= {arXiv preprint arXiv:2206.10565},
year = {2022}
}