具有协作中继的半去中心化联邦学习
机器学习
2022-05-24 v1 分布式、并行与集群计算
多智能体系统
摘要
我们提出一种半去中心化联邦学习算法,其中客户端通过将其邻居的本地更新中继至中心参数服务器(PS)来进行协作。在每一轮与 PS 的通信中,每个客户端计算其邻居客户端更新的本地共识,并最终将自身更新与邻居更新的加权平均传输给 PS。我们适当地优化这些平均权重,以确保 PS 处的全局更新无偏,并降低 PS 处全局更新的方差,从而改善收敛速率。数值仿真证实了我们的理论论断,并展示了客户端与 PS 间存在间歇性连接的场景,在此类场景中,相较联邦平均算法,我们所提算法展现出更快的收敛速率与更高的精度。
引用
@article{arxiv.2205.10998,
title = {Semi-Decentralized Federated Learning with Collaborative Relaying},
author = {Michal Yemini and Rajarshi Saha and Emre Ozfatura and Deniz Gündüz and Andrea J. Goldsmith},
journal= {arXiv preprint arXiv:2205.10998},
year = {2022}
}
备注
Accepted for presentation at the IEEE ISIT 2022. This is a conference version of arXiv:2202.11850