使用零阶优化技术的通信与能效联邦学习
机器学习
2024-09-26 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种流行的机器学习技术，允许多个用户在保持用户数据隐私的同时协作训练模型。FL 中的一个重大挑战是上传方向的通信瓶颈，以及由此导致的设备能耗，这归因于模型/梯度规模的不断增加。本文通过提出一种零阶（ZO）优化方法来解决这一问题，该方法要求每个设备每次迭代上传一个量化的单一标量，而非整个梯度向量。我们证明了其理论收敛性，并在非凸设定下找到了其收敛率的上界，同时讨论了其在实际场景中的实现。我们的 FL 方法及相应的收敛分析考虑了量化以及无线错误导致丢包的影响。我们还表明，与标准的基于梯度的 FL 方法相比，该方法在通信开销和能耗方面具有优越性。
引用
@article{arxiv.2409.16456,
title = {Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique},
author = {Elissa Mhanna and Mohamad Assaad},
journal= {arXiv preprint arXiv:2409.16456},
year = {2024}
}