面向带宽受限网络的标量通信联邦学习

在带宽受限的联邦学习（FL）场景中，来自代理节点的高维模型更新的频繁上传构成主要瓶颈，常常使标准FL在实际通信预算内难以实现。我们提出了\emph{FedScalar}，一种在代理节点仅上传两个标量值即可进行的通信高效FL算法，无需考虑模型维度~$d$。每个代理节点将其本地更新差异编码为与本地生成随机向量的内积，并传输 resulting scalar 以及生成种子，使服务器能够在无需高维传输的情况下重建无偏梯度估计。我们证明了\emph{FedScalar}对于光滑非凸损失函数可收敛至 stationary point 的收敛率为 $O(d/\sqrt{K})$，并指出采用Rademacher分布的随机向量可比Gaussian情况降低聚合方差。数值仿真确认，维度无关的上传成本在带宽受限环境下相对于\emph{FedAvg}和\emph{QSGD}显著改进了wall-clock时间和能源效率。