Kuramoto-FedAvg：利用同步动力学改善统计异质性下的联邦学习优化
机器学习
2025-05-27 v1
摘要
异构（非独立同分布）客户端数据上的联邦学习由于客户端漂移而经历缓慢的收敛。为了应对这一挑战，我们提出了Kuramoto-FedAvg，这是一种联邦优化算法，它将权重聚合步骤重新构建为受耦合振子Kuramoto模型启发的同步问题。服务器根据每个客户端的更新与全局更新的相位对齐情况动态调整其权重，放大与全局梯度方向对齐的贡献，同时最小化相位不同的更新的影响。我们在理论上证明了这种同步机制减少了客户端漂移，与异构数据分布下的标准FedAvg相比，提供了更紧的收敛界。经验验证支持了我们的理论发现，表明Kuramoto-FedAvg在多个基准数据集上显著加速了收敛并提高了准确性。我们的工作突出了协调和基于同步的策略在管理梯度多样性和在现实的非独立同分布环境中加速联邦优化的潜力。
引用
@article{arxiv.2505.19605,
title = {Kuramoto-FedAvg: Using Synchronization Dynamics to Improve Federated Learning Optimization under Statistical Heterogeneity},
author = {Aggrey Muhebwa and Khotso Selialia and Fatima Anwar and Khalid K. Osman},
journal= {arXiv preprint arXiv:2505.19605},
year = {2025}
}