基于多数投票的稀疏符号 SGD 用于通信高效分布式学习

复杂深度学习模型的训练效率可通过分布式优化得到显著提升。然而,该过程常受限于迭代期间工作节点与参数服务器之间大量的通信开销。为解决这一瓶颈,本文提出一种兼具稀疏化与符号量化协同优势的通信高效新算法,称为 ${\sf S}^3$GD-MV。在 ${\sf S}^3$GD-MV 中,工作节点选取其本地梯度向量的前 $K$ 大分量,仅将这些分量的符号发送给服务器。服务器随后聚合符号并通过多数投票规则返回结果。我们的分析表明,在若干温和条件下,若根据工作节点数和深度学习模型大小恰当选择稀疏化参数 $K$,${\sf S}^3$GD-MV 能以与 signSGD 相同的速率收敛,同时显著降低通信成本。基于独立同分布(IID)和非 IID 数据集的实验结果表明,${\sf S}^3$GD-MV 取得了比 signSGD 更高的精度,并显著减少了通信开销。这些发现凸显了 ${\sf S}^3$GD-MV 作为深度学习通信高效分布式优化可行方案的潜力。