FedProx with Extrapolation and Inexact Prox 的收敛性分析
最优化与控制
2024-10-03 v1 人工智能
摘要
FedProx联邦学习算法(Li等,2020)的服务器端外推方法最近由Li等(2024a)引入FedExProx。然而,其理论分析依赖于每个客户端精确计算某一proximal算子的结果,而这在实际应用中几乎不可能实现。本文研究了在光滑且全局强凸情形下,不依赖此精确性假设的FedExProx行为。我们建立了一般性收敛结果,表明不精确性导致收敛至解的邻域。此外,我们展示了通过谨慎控制,可减轻此种不精确性的不利影响。通过将不精确性关联到有偏压缩(Beznosikov等,2023),我们细化了分析,突出了外推对不精确proximal更新的鲁棒性。我们还检查了每个客户端实现所需精确度水平所需的局部迭代复杂度,并探讨了各种局部优化器。我们的理论见解通过全面的数值实验得到验证。
引用
@article{arxiv.2410.01410,
title = {On the Convergence of FedProx with Extrapolation and Inexact Prox},
author = {Hanmin Li and Peter Richtárik},
journal= {arXiv preprint arXiv:2410.01410},
year = {2024}
}
备注
36 pages, 6 figures