面向连接中断的鲁棒联邦学习：一种带协作中继的半去中心化框架
分布式、并行与集群计算
2022-10-24 v2 机器学习
多智能体系统
摘要
客户端与参数服务器（PS）之间的间歇性连接是联邦边缘学习框架中的一个主要瓶颈。缺乏持续连接会导致较大的泛化差距，尤其是当客户端间的本地数据分布呈现异构性时。为克服客户端与中心 PS 之间的间歇性通信中断，我们引入了协作中继的概念，即参与客户端将其邻居的本地更新中继转发给 PS，以提升与 PS 连接较差的客户端的参与程度。我们提出了一种半去中心化联邦学习框架，其中在每一通信轮次，每个客户端首先对其部分邻居客户端更新计算本地共识，最终向 PS 传输其自身更新与邻居更新的加权平均值。我们适当地优化这些本地共识权重，以确保 PS 处的全局更新是无偏且方差最小——从而改善收敛速率。在 CIFAR-10 数据集上的数值评估表明，我们的协作中继方法在间歇性连接网络（例如客户端通过具有间歇性阻塞的毫米波信道通信时）上的学习优于基于联邦平均的基准。
引用
@article{arxiv.2202.11850,
title = {Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying},
author = {Michal Yemini and Rajarshi Saha and Emre Ozfatura and Deniz Gündüz and Andrea J. Goldsmith},
journal= {arXiv preprint arXiv:2202.11850},
year = {2022}
}