异构数据上基于共识机制的联邦学习：收敛性的新视角
机器学习
2023-11-22 v1 分布式、并行与集群计算
摘要
异构数据（非独立同分布数据）上的联邦学习（FL）近来受到极大关注。大多数现有方法聚焦于研究全局目标的收敛保证。尽管这些方法能保证每轮通信中全局目标下降，却无法确保每个客户端的风险下降。本文为解决问题，提出 FedCOME，引入共识机制以在每轮训练后强制各客户端风险下降。具体而言，我们允许在服务器端对某一客户端的梯度做轻微调整，使修正后梯度与其他客户端原始梯度间生成锐角。我们从理论上证明该共识机制能保证全局目标收敛。为将共识机制推广至部分参与 FL 场景，我们设计了一种新颖的客户端采样策略，为全局数据分布挑选最具代表性的客户端。在这些被选客户端上结合共识机制训练，经验上可使未选中客户端的风险下降。最后，我们在四个基准数据集上开展大量实验，从有效性、效率与公平性上展示 FedCOME 相对于其他 SOTA 方法的优越性。为可复现，我们将源代码公开于：\url{https://github.com/fedcome/fedcome}。
引用
@article{arxiv.2311.12358,
title = {Federated Learning via Consensus Mechanism on Heterogeneous Data: A New Perspective on Convergence},
author = {Shu Zheng and Tiandi Ye and Xiang Li and Ming Gao},
journal= {arXiv preprint arXiv:2311.12358},
year = {2023}
}