面向极端异构场景的联邦学习稳定化：HeteRo-Select 方法
机器学习
2025-08-12 v1
摘要
联邦学习（FL）是一种机器学习技术，常因客户端数据的多样性导致训练不稳定。虽然已采用基于效用的客户端选择方法（如 Oort）以优先选择高损失客户端以实现收敛，但在训练后期经常出现准确率显著下降。我们提出了面向高异构性场景的理论 HeteRo-Select 框架，以维持高性能并确保长期训练稳定性。我们提供的理论分析表明，在客户端数据高度不同（高异构性）时，选择一部分智能客户端参与可比完全参与更有效地减少通信量。我们的 HeteRo-Select 方法采用清晰的分步骤评分系统，考虑客户端效用、公平性、更新速度和数据多样性。它在强正则化下也具备收敛性保证。我们的在 CIFAR-10 数据集上的实验结果（在显著标签偏斜（）的情况下）支持了理论发现。HeteRo-Select 方法在峰值准确率、最终准确率和训练稳定性方面均优于现有方法。具体而言，HeteRo-Select 实现了峰值准确率为 、最终准确率为 ，以及最小稳定性下降为 。相比之下，Oort 记录的峰值准确率为 、最终准确率为 ，以及更大的稳定性下降为 。本研究的理论基础和实证性能使 HeteRo-Select 成为解决实际异构 FL 问题的可靠方案。
引用
@article{arxiv.2508.06692,
title = {Stabilizing Federated Learning under Extreme Heterogeneity with HeteRo-Select},
author = {Md. Akmol Masud and Md Abrar Jahin and Mahmud Hasan},
journal= {arXiv preprint arXiv:2508.06692},
year = {2025}
}