面向异构联邦学习的最优高效客户端抽样方法
机器学习
2026-02-24 v3 人工智能
摘要
联邦学习（FL）通常涉及具有不同通信和计算能力的客户端。这种异构性会显著扭曲优化动力学，导致目标不一致，使得全局模型收敛到可能远离所求最优点的错误稳态。尽管其关键影响尚未得到充分探讨，这是由于异构通信与计算相互作用的内在复杂性所致。本文揭示了异构通信与计算如何驱动不一致性的根本不同机制。到目前为止，我们是首个对一般性异构联邦学习进行统一理论分析，提供原则性理解，阐明了这两种形式的异构性如何在任意本地求解器选择下扭曲优化轨迹。以获得这些见解为动机，我们提出了联邦异构性感知客户端抽样方法（FedACS），一种消除所有类型目标不一致的通用方法。我们理论上证明，FedACS在动态异构环境下以的速率收敛到正确的最优点。广泛的实验结果表明，FedACS在多个数据集上超过最先进的和类别特定基线方法4.3%-36%，同时将通信成本降低22%-89%，将计算负载降低14%-105%。
引用
@article{arxiv.2505.11304,
title = {Heterogeneity-Aware Client Sampling for Optimal and Efficient Federated Learning},
author = {Shudi Weng and Chao Ren and Ming Xiao and Mikael Skoglund},
journal= {arXiv preprint arXiv:2505.11304},
year = {2026}
}