异构联邦学习中局部训练的自适应引导方法
机器学习
2025-06-04 v3 人工智能
摘要
模型异构性是异构联邦学习（HtFL）中的重要挑战。在模型架构多样化的场景中，直接聚合模型参数往往不可行，导致 HtFL 方法在每个客户端上除原始局部目标外还需纳入额外目标以促进协作。然而，这常常导致额外目标与局部目标之间的偏差。为解决此问题，我们提出了一种名为 Federated Learning-to-Guide（FedL2G）的方法，通过联邦方式自适应学习以引导局部训练，确保添加的目标与每个客户端的原始目标一致。FedL2G 在理论上具有保证，仅使用模型参数相对于的一阶导数，即可实现非凸收敛率为 O(1/T)。我们在两个数据异构性和六个模型异构性设置下进行了大量实验，使用 14 种异构模型架构（如 CNN 和 ViT）。结果表明，FedL2G显著优于七种最先进的方法。
引用
@article{arxiv.2410.06490,
title = {Adaptive Guidance for Local Training in Heterogeneous Federated Learning},
author = {Jianqing Zhang and Yang Liu and Yang Hua and Jian Cao and Qiang Yang},
journal= {arXiv preprint arXiv:2410.06490},
year = {2025}
}