FedAC：面向异构数据的自适应聚类联邦学习框架
机器学习
2024-04-01 v2 人工智能
分布式、并行与集群计算
摘要
聚类联邦学习（CFL）旨在通过将相似客户端分组进行分簇模型训练，以缓解联邦学习（FL）中因数据异构性导致的性能下降。然而，当前的 CFL 方法因全局与簇内知识整合不足、缺乏高效的在线模型相似度度量而表现不佳，同时将簇数视为固定超参数也限制了灵活性与鲁棒性。本文提出一种自适应 CFL 框架 FedAC，其特点包括：(1) 通过解耦神经网络并对各子模块采用不同的聚合方法，高效地将全局知识整合到簇内学习中，显著提升性能；(2) 包含一种基于降维的高效在线模型相似度度量；(3) 引入簇数微调模块，以提升在复杂异构环境中的适应性与可扩展性。大量实验表明，FedAC 取得了优越的经验性能，在不同非独立同分布设定下，相比 SOTA 方法，在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率分别提高了约 1.82% 和 12.67%。
引用
@article{arxiv.2403.16460,
title = {FedAC: An Adaptive Clustered Federated Learning Framework for Heterogeneous Data},
author = {Yuxin Zhang and Haoyu Chen and Zheng Lin and Zhe Chen and Jin Zhao},
journal= {arXiv preprint arXiv:2403.16460},
year = {2024}
}
备注
14 pages, 4 figures