自适应优化下的联邦学习梯度校正
机器学习
2025-05-20 v3 人工智能
分布式、并行与集群计算
摘要
在联邦学习 (FL) 中，模型训练性能严重受数据在各客户端之间的异构性影响。客户端漂移补偿方法最近作为解决这一问题的方案，引入校正项以纠正本地模型更新。目前，这些方法仅在基于随机梯度下降 (SGD) 的模型训练下进行考察，而现代 FL 框架也采用自适应优化器（如 Adam）以获得更好的收敛性。然而，由于自适应优化方法中一阶与二阶矩之间复杂相互作用，盲目注入校正项可能导致在异构设置下出现性能下降。本文我们提出了 {\tt FAdamGC}，即将漂移补偿集成到自适应联邦优化中的第一算法。{\tt FAdamGC} 的关键思想是注入与自适应方法的时序结构一致的预估计校正项。我们在非凸设置下对算法进行严格的收敛分析，表明 {\tt FAdamGC} 的收敛率更好，所需假设也更温和 than 将 SGD 基于校正算法简单移植到自适应优化器中。我们的实验结果显示，{\tt FAdamGC} 在数据异构性不同程度下， consistently 在总体通信与计算成本上优于现有方法，表明在联邦自适应优化中校正梯度信息的有效性。
引用
@article{arxiv.2502.02727,
title = {Gradient Correction in Federated Learning with Adaptive Optimization},
author = {Evan Chen and Shiqiang Wang and Jianing Zhang and Dong-Jun Han and Chaoyue Liu and Christopher Brinton},
journal= {arXiv preprint arXiv:2502.02727},
year = {2025}
}