面向单次联邦学习中多样异质性的统一解决方案
分布式、并行与集群计算
2025-06-03 v3 机器学习
摘要
单次联邦学习（One-Shot Federated Learning, OSFL）将服务器与客户端的通信限制为单轮，显著降低了通信成本，减少了隐私泄露风险，相较于传统联邦学习（Federated Learning, FL）后者需要多轮通信。然而，现有OSFL框架仍易受分布式异质性影响，由于其主要关注模型异质性而忽略了数据异质性。为弥合这一差距，我们提出了FedHydra——一个统一的、无数据的数据自由的OSFL框架，旨在有效解决模型和数据异质性。不同于现有OSFL方法，FedHydra引入了新颖的两阶段学习机制。具体而言，它融合了模型分层和异质感知分层聚合，以缓解模型和数据异质性带来的挑战。通过此设计，数据和模型异质性问题可在学习过程中从不同维度进行监控。因此，FedHydra能够通过最小化其内在冲突来有效缓解这两类问题。我们在四个基准数据集上将FedHydra与五个SOTA基线方法进行比较。实验结果表明，在均匀和非均匀设置下，FedHydra均优于之前的OSFL方法。代码已公开于https://github.com/Jun-B0518/FedHydra。
引用
@article{arxiv.2410.21119,
title = {A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning},
author = {Jun Bai and Yiliao Song and Di Wu and Atul Sajjanhar and Yong Xiang and Wei Zhou and Xiaohui Tao and Yan Li and Yue Li},
journal= {arXiv preprint arXiv:2410.21119},
year = {2025}
}
备注
Accepted version to KDD 2025