使无线环境为梯度估计器所用：一种零阶随机联邦学习方法
机器学习
2025-02-14 v3 分布式、并行与集群计算
多智能体系统
最优化与控制
摘要
跨设备联邦学习（FL）是一种日益发展的机器学习设置，多个边缘设备协作训练模型，而无需公开其原始数据。随着大量移动设备通过无线环境参与更多FL应用，这些应用的实际部署将因设备上行链路容量有限而受阻，从而造成关键瓶颈。在这项工作中，我们提出了一种新颖的双重通信高效零阶（ZO）方法，该方法使用单点梯度估计器，用标量值替代长向量通信，并利用无线通信信道的特性，从而无需了解信道状态系数。这是第一种将无线信道纳入学习算法本身，而不是浪费资源去分析并消除其影响的方法。随后，我们对所提出的零阶联邦学习（ZOFL）框架进行了全面分析，并证明了我们的方法几乎必然收敛，这是非凸零阶优化中的一个新颖结果。我们进一步证明了在非凸设置下收敛速率为。最后，我们通过实验结果展示了该算法的潜力。
引用
@article{arxiv.2401.17460,
title = {Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method},
author = {Elissa Mhanna and Mohamad Assaad},
journal= {arXiv preprint arXiv:2401.17460},
year = {2025}
}