面向异构联邦学习的鲁棒模型聚合：分析与优化
机器学习
2024-05-14 v1 分布式、并行与集群计算
摘要
传统的同步联邦学习（SFL）框架在异构系统中因本地数据不平衡和客户端计算能力差异性而出现性能下降。为解决此问题，提出了异步联邦学习（AFL）和半异步联邦学习，以允许异步聚合来恢复性能损失。然而，异步聚合会导致本地更新与全局更新之间的不一致问题。针对传统 SFL 和 AFL 的问题，本文首先提出一种面向异构系统的时间驱动 SFL（T-SFL）框架。T-SFL 的核心思想是定期聚合来自不同客户端的模型，这些客户端的迭代次数各不相同。为评估 T-SFL 的学习性能，我们给出全局损失函数的上界。进一步，我们优化聚合权重以最小化所构建的上界。然后，我们开发了一种判别性模型选择（DMS）算法，该算法会移除迭代次数低于预设阈值的客户端的本地模型。该算法确保每个客户端的聚合权重准确反映其对全局模型更新的真实贡献，从而提高了系统的效率和鲁棒性。为验证 T-SFL 配合 DMS 算法的有效性，我们使用包括 MNIST、Cifar-10、Fashion-MNIST 和 SVHN 在内的多个热门数据集进行了大量实验。实验结果表明，采用 DMS 算法的 T-SFL 可将传统 SFL 的延迟降低 50%，同时在深度学习 SOTA 方法中实现平均 3% 的学习精度提升。
引用
@article{arxiv.2405.06993,
title = {Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations},
author = {Yumeng Shao and Jun Li and Long Shi and Kang Wei and Ming Ding and Qianmu Li and Zengxiang Li and Wen Chen and Shi Jin},
journal= {arXiv preprint arXiv:2405.06993},
year = {2024}
}