基于联邦投票的 SignSGD

分布式学习通常用于通过利用多个边缘设备的计算能力来加速模型训练。然而，在实际应用中，由于工作节点与中央参数服务器之间需要交换大量信息，通信延迟成为瓶颈。基于多数投票的 SignSGD（signSGD-MV）是一种有效的分布式学习算法，可通过一位量化显著降低通信成本。然而，由于计算能力异构，当各工作节点的小批量大小不同时，该算法无法收敛。为克服这一问题，我们提出了一种新颖的带有联邦投票的 signSGD 优化器（signSGD-FV）。联邦投票的思想是利用可学习的权重进行加权多数投票。服务器根据边缘设备的计算能力，以在线方式学习分配给它们的权重。随后，这些权重被用于解码聚合局部梯度的符号，以最小化符号解码错误概率。我们提供了一个统一的收敛速率分析框架，适用于参数服务器完全或部分知晓估计权重的场景。我们证明，所提出的 signSGD-FV 算法即使在边缘设备使用异构小批量大小时也具有理论收敛保证。实验结果表明，signSGD-FV 优于 signSGD-MV，展现出更快的收敛速度，尤其是在异构小批量大小的情况下。