具有理论保证的联邦学习随机符号SGD
机器学习
2024-01-24 v5 机器学习
摘要
联邦学习（FL）已成为一种突出的分布式学习范式。FL迫切需要开发具有收敛理论保证的新型参数估计方法，这些方法还需在异构数据分布设置下具备通信高效、差分隐私和拜占庭鲁棒性。基于量化的SGD求解器已被广泛采用，且近期提出的带多数投票的SIGNSGD展示了一个有前景的方向。然而，现有方法均无法同时具备上述所有特性。在本文中，我们提出一种基于SIGNSGD的直观简单但有理论依据的方法以弥补这一差距。我们提出随机符号SGD（Stochastic-Sign SGD），其利用新颖的基于随机符号的梯度压缩器，在统一框架中实现上述特性。我们还提出了所提随机符号SGD的误差反馈变体，进一步提升了FL中的学习性能。我们使用深度神经网络在MNIST数据集和CIFAR-10数据集上通过大量实验测试了所提方法。实验结果证实了所提方法的有效性。
引用
@article{arxiv.2002.10940,
title = {Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees},
author = {Richeng Jin and Yufan Huang and Xiaofan He and Huaiyu Dai and Tianfu Wu},
journal= {arXiv preprint arXiv:2002.10940},
year = {2024}
}