联邦学习中的精度与通信成本权衡

利用 Zhou 等人和 Isik 等人提出的训练-剪枝范式，我们引入了一种联邦学习协议，实现了通信成本降低 34 倍。我们在性能上实现了对最先进方法的数个数量级的压缩改进。我们框架的核心思想是将网络权重 $\vec w$ 编码为可训练参数向量 $\vec p$，使得 $\vec w = Q\cdot \vec p$，其中 $Q$ 是一个精心生成的稀疏随机矩阵（在训练过程中保持不变）。在此框架中，当 $Q$ 为对角矩阵且 $\vec p$ 与 $\vec w$ 具有相同维度时，恢复了 Zhou 等人 [NeurIPS'19] 的工作。相反，我们表明 $\vec p$ 可以有效地选择得比 $\vec w$ 小得多，同时在降低 $Q$ 的稀疏性的情况下保持相同的精度。由于服务器和客户端只需共享 $\vec p$，这种权衡带来了通信成本的显著改善。此外，我们为框架提供了理论洞察，并在训练-采样与随机凸几何之间建立了新的联系。