不完美信息共享下去中心化联邦学习的收敛性研究
机器学习
2023-03-21 v1 系统与控制
系统与控制
摘要
去中心化学习与优化是控制中的核心问题，涵盖若干现有和新兴应用，如联邦学习。尽管关于该主题已有大量文献且多数方法围绕著名的平均一致性范式，但对于智能体间通信可能不完美的情景关注较少。为此，本文提出三种不同的去中心化联邦学习（DFL）算法，其存在以噪声通信信道建模的不完美信息共享。第一种算法联邦噪声去中心化学习（FedNDL1）源自文献，其中将噪声加入其参数以模拟存在噪声通信信道的情景。该算法通过噪声通信信道基于通信图拓扑共享参数以与客户端形成共识。提出的第二种算法（FedNDL2）类似于第一种算法但对参数加入噪声，并在梯度优化前执行 gossip 平均。另一方面，提出的第三种算法（FedNDL3）通过噪声通信信道共享梯度而非参数。理论与实验结果表明，在不完美信息共享下，相较文献中混合参数的算法，混合梯度的第三种方案在噪声信道存在时更具鲁棒性。
引用
@article{arxiv.2303.10695,
title = {On the Convergence of Decentralized Federated Learning Under Imperfect Information Sharing},
author = {Vishnu Pandi Chellapandi and Antesh Upadhyay and Abolfazl Hashemi and Stanislaw H /. Zak},
journal= {arXiv preprint arXiv:2303.10695},
year = {2023}
}
备注
24 pages, 2 figures