基于对比编码器预训练的异质数据聚类联邦学习
机器学习
2023-11-29 v1 分布式、并行与集群计算
摘要
联邦学习(FL)是一种前景广阔的方法,使分布式客户端能在保护数据隐私的同时协作训练全局模型。然而,FL常受数据异质性问题困扰,显著影响其性能。为此,聚类联邦学习(CFL)被提出以为不同客户端簇构建个性化模型。一种有效的客户端聚类策略是允许客户端根据性能从模型池中自选本地模型。但若无预训练模型参数,该策略易致聚类失败,即所有客户端选同一模型。遗憾的是,在分布式环境中收集大量标注数据用于预训练成本高且不可行。为克服此挑战,我们利用自监督对比学习挖掘无标注数据以预训练FL系统。自监督预训练与客户端聚类共同成为应对FL数据异质性的关键组件。结合这两大关键策略,我们提出基于对比预训练的聚类联邦学习(CP-CFL)以提升FL系统的模型收敛性与整体性能。本工作中,我们通过异质FL环境下的广泛实验证明CP-CFL的有效性,并呈现若干有趣发现。
引用
@article{arxiv.2311.16535,
title = {Contrastive encoder pre-training-based clustered federated learning for heterogeneous data},
author = {Ye Lin Tun and Minh N. H. Nguyen and Chu Myaet Thwal and Jinwoo Choi and Choong Seon Hong},
journal= {arXiv preprint arXiv:2311.16535},
year = {2023}
}
备注
Published in Neural Networks