分布式学习中随机梯度下降的可信性
机器学习
2025-04-30 v3 人工智能
分布式、并行与集群计算
摘要
分布式学习（DL）利用多个节点加速训练，从而能够高效优化大规模模型。随机梯度下降（SGD）作为一种关键的优化算法，在此过程中扮演核心角色。然而，通信瓶颈常常限制可扩展性和效率，导致越来越多地采用压缩SGD技术来缓解这些挑战。尽管解决了通信开销问题，压缩SGD却引入了可信性问题，因为节点间的梯度交换容易受到梯度反转（GradInv）和成员推断攻击（MIA）等攻击。压缩SGD的可信性尚未得到探索，留下了关于其可靠性的重要问题。在本文中，我们对压缩与非压缩SGD进行了可信性评估。具体而言，我们使用GradInv攻击进行了实证研究，揭示出压缩SGD相比非压缩SGD表现出显著更高的抗隐私泄露能力。此外，我们的发现表明，MIA可能不是评估分布式学习中隐私风险的可靠指标。
引用
@article{arxiv.2410.21491,
title = {Trustworthiness of Stochastic Gradient Descent in Distributed Learning},
author = {Hongyang Li and Caesar Wu and Mohammed Chadli and Said Mammar and Pascal Bouvry},
journal= {arXiv preprint arXiv:2410.21491},
year = {2025}
}