面向异构联邦学习的优化定制架构：基于对比云边模型解耦
机器学习
2024-03-06 v1 人工智能
摘要
联邦学习作为一种有前景的分布式学习范式，能够在无需集中收集数据的情况下，跨多个网络边缘客户端协作训练全局模型。然而，边缘数据分布的异构性会将模型拉向局部极小值，这可能远离全局最优解。这种异构性通常导致收敛缓慢和巨大的通信开销。为解决这些问题，我们提出了一种名为 FedCMD 的新型联邦学习框架，这是一种专为云边支持的联邦学习设计的模型解耦方法，将深度神经网络分离为用于在云端捕捉共享表示的主体（body）和用于迁移数据异构性的个性化头部（head）。我们的动机是，通过对选择不同神经网络层作为个性化头部的性能进行深入调查，我们发现当前研究中僵化地将最后一层指定为个性化头部并不总是最优的。相反，有必要通过考虑相邻层之间的表示差异，动态选择能最大化训练性能的个性化层。为了找到最优个性化层，我们利用每一层的低维表示来对比特征分布转移，并引入一种基于 Wasserstein 距离的层选择方法，旨在识别最适合个性化的层。此外，基于选定的个性化层，提出了一种加权全局聚合算法，以应用于 FedCMD 的实际场景。在十个基准测试上的大量实验表明，与九种最先进（state-of-the-art）的解决方案相比，我们的方案具有高效性和优越性能。所有代码和结果均可在 https://github.com/elegy112138/FedCMD 获取。
引用
@article{arxiv.2403.02360,
title = {Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling},
author = {Xingyan Chen and Tian Du and Mu Wang and Tiancheng Gu and Yu Zhao and Gang Kou and Changqiao Xu and Dapeng Oliver Wu},
journal= {arXiv preprint arXiv:2403.02360},
year = {2024}
}