迈向高效聚类联邦学习：一种具有自适应邻居匹配的 peer-to-peer 框架
人工智能
2022-11-22 v2
摘要
在联邦学习（FL）中，客户端可能具有多样化目标，将所有客户端知识合并入一个全局模型会对本地性能造成负迁移。因此，提出聚类联邦学习将相似客户端分组并维护多个全局模型。在文献中，集中式聚类 FL 算法需要预设簇数假设，因而不足以有效探索客户端间的潜在关系。本文在不假设簇数的前提下，提出一种名为 PANM 的 peer-to-peer（P2P）FL 算法。在 PANM 中，客户端与对等节点通信以自适应形成有效的聚类拓扑。具体而言，我们提出两种度量客户端相似性的新指标，以及基于蒙特卡洛方法和高斯混合模型假设下期望最大化（Expectation Maximization）的两阶段邻居匹配算法。我们对 PANM 在邻居估计概率及与聚类最优值的误差间隙方面进行了理论分析。我们还在合成与真实世界的聚类异构设置下进行了大量实验。理论分析与经验实验表明，所提算法优于 P2P FL 同类方法，且比集中式聚类 FL 方法取得更好性能。PANM 即使在极低通信预算下也有效。
引用
@article{arxiv.2203.12285,
title = {Towards Effective Clustered Federated Learning: A Peer-to-peer Framework with Adaptive Neighbor Matching},
author = {Zexi Li and Jiaxun Lu and Shuang Luo and Didi Zhu and Yunfeng Shao and Yinchuan Li and Zhimeng Zhang and Yongheng Wang and Chao Wu},
journal= {arXiv preprint arXiv:2203.12285},
year = {2022}
}
备注
Published in IEEE Transactions on Big Data, 2022