通过零阶优化实现联邦学习中的无维度通信

联邦学习（FL）为跨分布式数据源进行协作和隐私保护的机器学习提供了有前景的框架。然而，联邦学习所需的大量通信成本显著挑战了其效率。具体而言，在每次通信轮次中，通信成本随模型维度线性增长，这在大型模型场景下尤其成为巨大的障碍。尽管有各种通信效率策略，但内在的维度相关通信成本仍是当前联邦学习实现的一个主要瓶颈。本文提出了一种新型无维度通信算法 - DeComFL，它利用零阶优化技术，将通信成本从 $\mathscr{O}(d)$ 降低到 $\mathscr{O}(1)$，通过在客户端和服务器之间仅传输少量标量值即可实现此目标，无需考虑模型参数维度 $d$。理论上，在非凸函数中，我们证明了该算法实现了最先进的收敛速率，这表明在标准假设下，客户机数量和本地步骤数都具有线性加速。此外，在额外的低有效秩假设下，我们进一步可证明收敛速率也与模型维度 $d$ 无关。实验评估涵盖经典深度学习训练和大型语言模型微调，均显示出显著的通信开销降低。值得注意的是，DeComFL 通过仅在服务器和客户端之间传输约 1MB 的数据即可微调具有数十亿参数的模型。我们的代码已公开于 https://github.com/ZidongLiu/DeComFL。