面向联邦学习的通信高效随机零阶优化
机器学习
2022-11-23 v2 人工智能
信号处理
摘要
联邦学习（FL）作为一种新兴的边缘人工智能范式，使众多边缘设备能够在无需共享私有数据的情况下协同训练全局模型。为提升联邦学习的训练效率，已提出从一阶到二阶方法的多种算法。然而，这些算法无法应用于梯度信息不可用的场景，例如联邦黑盒攻击与联邦超参数调优。为解决这一问题，本文提出一种无导数的联邦零阶优化（FedZO）算法，其特点是在每轮通信中基于随机梯度估计器执行多次本地更新，并支持部分设备参与。在非凸设定下，我们推导了FedZO算法在非独立同分布数据上的收敛性能，并刻画了本地迭代次数与参与边缘设备数量对收敛性的影响。为实现无线网络中通信高效的FedZO，我们进一步提出一种空中计算（AirComp）辅助的FedZO算法。通过适当的收发器设计，我们证明在特定信噪比条件下，AirComp辅助的FedZO仍能保持其收敛性。仿真结果验证了FedZO算法的有效性及理论观察的正确性。
引用
@article{arxiv.2201.09531,
title = {Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning},
author = {Wenzhi Fang and Ziyi Yu and Yuning Jiang and Yuanming Shi and Colin N. Jones and Yong Zhou},
journal= {arXiv preprint arXiv:2201.09531},
year = {2022}
}
备注
This work was accepted to Transaction on Signal Processing