FedEP：基于熵池化针对去中心化联邦学习中异构数据分布的注意力调优
机器学习
2025-01-07 v2
摘要
在联邦学习（FL）中，非独立同分布（non-IID）数据导致客户端漂移问题，引发收敛速度减慢和模型性能下降。虽然已有方法通过中心服务器缓解此问题于集中式联邦学习（CFL），但去中心化联邦学习（DFL）仍鲜有探索。在 DFL 中，缺乏中心实体导致节点无法获取联邦的全局视图，进一步加剧了非 IID 数据的挑战。本文借鉴金融领域用于合成多样化投资意见的熵池化算法，提出 Federated Entropy Pooling（FedEP）算法以缓解 DFL 中的非 IID 挑战。FedEP 利用高斯混合模型（GMM）拟合局部数据分布，共享相邻节点间的统计参数以估计全局分布。聚合权重基于局部与全局分布之间的熵池化方法确定。仅通过共享合成分布信息，FedEP 能保护数据隐私并降低通信开销。实验结果表明，FedEP 在各种非 IID 设置下实现更快收敛，并优于当前方法。
引用
@article{arxiv.2410.07678,
title = {FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning},
author = {Chao Feng and Hongjie Guan and Alberto Huertas Celdrán and Jan von der Assen and Gérôme Bovet and Burkhard Stiller},
journal= {arXiv preprint arXiv:2410.07678},
year = {2025}
}