通信高效ConFederated学习：基于事件触发SAGA方法
机器学习
2024-02-29 v1 分布式、并行与集群计算
信号处理
摘要
联邦学习（FL）是一种旨在不收集分散在 various 数据源中的本地数据以进行模型训练的机器学习范式。标准FL采用单个服务器，只能支持有限数量的用户，导致学习能力下降。本文考虑一个多服务器FL框架，称为\emph{Confederated Learning} (CFL)，以容纳更多用户。CFL系统由多个网络边缘服务器组成，每个服务器连接到一组单独的用户。利用服务器之间的去中心化协作来发挥所有用户数据的作用进行模型训练。鉴于涉及的大量用户，减少CFL系统的通信开销至关重要。我们提出了一种用于CFL框架下分布式学习的随机梯度方法。该方法将条件触发的用户选择（CTUS）机制作为核心组件，以有效减少通信开销。依靠精心设计的触发条件，CTUS机制允许每个服务器仅选择少量用户上传其梯度，而不会显著损害算法的收敛性能。我们的理论分析表明，所提出算法具有线性收敛率。仿真结果表明，它在通信效率方面优于最先进的算法。
关键词
引用
@article{arxiv.2402.18018,
title = {Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach},
author = {Bin Wang and Jun Fang and Hongbin Li and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2402.18018},
year = {2024}
}