FedHybrid：一种用于联邦优化的混合原始对偶算法框架
最优化与控制
2023-08-02 v2
摘要
我们考虑服务器-客户端（联邦）网络上的多智能体共识优化问题，其中所有客户端连接到一个中心服务器。当前的分布式算法未能捕捉客户端本地计算能力的异构性。受集中式优化中广义乘子法的启发，我们利用服务器-客户端拓扑推导了一种近似牛顿型原始对偶方法并给出了实用的分布式实现。然后我们提出一种新的原始对偶算法框架 FedHybrid，允许不同客户端执行各类更新。具体而言，每个客户端可选择执行梯度型或牛顿型更新。我们提出了一种用于原始对偶方法的新分析框架，并获得了 FedHybrid 对强凸函数的线性收敛速率，而与客户端选择梯度型或牛顿型更新无关。提供了数值研究以证明我们的方法在实践中的有效性。据我们所知，这是首个允许异构本地更新的混合算法框架，用于具有可证明收敛性和速率保证的分布式共识优化。
引用
@article{arxiv.2106.01279,
title = {FedHybrid: A Hybrid Primal-Dual Algorithm Framework for Federated Optimization},
author = {Xiaochun Niu and Ermin Wei},
journal= {arXiv preprint arXiv:2106.01279},
year = {2023}
}